Најкорисниот начин да се размислува за AI агент не е како за паметно поле за автоматско довршување. Тој е нов вид софтверски соработник: брз, неуморен, способен да работи на јасно дефинирани задачи, но и понатаму зависен од јасни насоки и преглед.

Токму последната точка е важна. Тимовите добиваат разочарувачки резултати кога ќе побараат од агент да „ја подобри апликацијата“ и очекуваат расудувањето, контекстот и одговорноста автоматски да се појават. Тие добиваат значајна предност кога му задаваат ограничена работа, сигурни алатки, изречни ограничувања и начин да го проверат неговиот резултат.

AI агентите можат да го намалат триењето околу софтверската работа. Тие можат да истражат неуспешен тест, да изготват план за миграција, да ажурираат повторувачка документација, да сумираат временска линија на инцидент или да подготват pull request. Но продуктивноста доаѓа од дизајнирањето на системот што го опкружува агентот, а не само од додавање модел во работниот тек.

Почнете со работа што има јасна завршна цел

Агентот работи најдобро кога успехот може прецизно да се опише. „Откријте зошто овој тест не успева и предложете ја најмалата безбедна поправка“ е подобра задача од „подобрете го пакетот тестови“. Првата има опфат, докази за проверка и граница за одлучување. Втората бара од агентот да заклучи приоритети што можеби не се видливи во складиштето.

Добрите почетни задачи за агентите обично споделуваат неколку својства:

• Доволно често се појавуваат за заштедата на време да биде важна.
• Имаат достапен контекст, како изворен код, тикети, логови или оперативни прирачници.
• Создаваат резултат што човек или автоматизирана проверка може да го оцени.
• Неуспехот е со ниска цена, обратлив или се открива пред продукција.

На пример, агент може да сортира пријава за грешка така што ќе ги лоцира релевантните кодни патеки, ќе ги идентификува недостасувачките детали за репродукција и ќе состави прашања за пријавувачот. Не треба тивко да одлучи дека продукциски инцидент е решен затоа што порака за грешка исчезнала од мал примерок логови.

Дајте му на агентот работна средина, не само промпт

На корисен агент му треба повеќе од инструкции. Му треба контролиран пристап до системите што ги содржат фактите потребни за да ја заврши својата работа. Тоа може да вклучува складиште, систем за следење на проблеми, документација, извршувач на тестови и статус на распоредувања. Пристапот треба да го следи истиот принцип на најмали привилегии што се користи за човечки сметки.

Раздвојте што агентот смее да чита, менува и извршува. Пристап само за читање често е доволен за откривање, анализа и изработка на нацрти. Пристап за пишување може да биде соодветен за гранка или коментар на тикет. Продукциски промени, управување со ингеренции, деструктивни операции и надворешна комуникација заслужуваат построги одобрителни прагови.

Инструкциите за агентот треба да ги направат тие граници конкретни. Наместо да кажете „распореди ја поправката“, дефинирајте го патот: создај гранка, направи ја најмалата промена, изврши ги наведените проверки, сумирај ги резултатите и побарај одобрување пред какво било дејство за издавање. Ова го прави однесувањето попредвидливо и им дава на прегледувачите употреблива ревизорска трага.

Направете ја верификацијата дел од задачата

Агентот не треба само да тврди дека решил проблем. Треба да покаже како е проверен резултатот. Во софтверската работа, тоа може да значи извршување насочени тестови, проверки на форматирање, статичка анализа или локално градење. За документација, тоа може да значи проверка на врски, примери на код и терминологија според изворот на вистината.

Компактен договор за задачата може да биде повреден од долг, отворен промпт:

Цел: Поправи го неуспешниот тест за парсерот.
Опфат: Менувај само код за парсерот и неговите тестови.
Задолжителни проверки: Изврши го пакетот тестови за парсерот и алатката за форматирање.
Ограничувања: Не менувај јавно однесување без да објасниш зошто.
Резултат: Резиме, изменети датотеки, извршени проверки и преостанат ризик.
Ескалирај ако: Поправката бара промена на шема или влијае на зачувани податоци.

Ова не гарантира точност. Но создава повторлив процес во кој точноста може да се процени.

Користете ги агентите за да ја зајакнете развојната јамка

Случаите на употреба со најголема вредност често се наоѓаат меѓу фазите на постоечката работа, наместо да заменуваат цела улога. Агентот може да претвори пристигнат проблем во подобар инженерски бриф, pull request во фокусирана листа за преглед или неуспеси на тестови во структурирана дијагноза. Тоа се места каде собирањето контекст и првите нацрти трошат време, но конечната проценка сè уште му припаѓа на тимот.

Разгледајте помошник за преглед на код. Неговата работа не е да одобрува промени. Неговата работа е да го испита diff-от, да ги идентификува засегнатите интерфејси, да бара тестови што недостигаат и да означи претпоставки што заслужуваат човечко внимание. Така прегледувачот може да троши помалку време на повторно составување на контекстот и повеќе време на проценка на дизајнот, ризикот и компромисите.

Истиот образец важи и за операциите. Агент може да собере неодамнешни распоредувања, предупредувања, логови и релевантни делови од оперативниот прирачник за време на инцидент. Може да предложи хипотези, но треба да ги означи како хипотези и да зачува врски до основните докази. Брзите резимеа се корисни; лажната сигурност е опасна.

Дизајнирајте за неизвесност и неуспех

Јазичните модели можат да создадат уверливи, но неточни објаснувања. Агентите што користат алатки можат да не успеат и на пообични начини: може да недостигаат дозволи, командите може да истечат, API може да врати застарени податоци или повторниот обид може да дуплира дејство. Работен тек за агент со продукциски квалитет планира за тие услови.

Користете идемпотентни дејства каде што е можно, особено при повторни обиди. Запишувајте што агентот се обидел да направи, што забележал и што се променило. Барајте потврда пред дејства што не можат безбедно да се повторат. Ако повик на алатка не успее, агентот треба да го пријави неуспехот и следната безбедна опција, наместо да измислува успешен резултат.

Исто така, помага да се разликуваат „не се пронајдени докази“ и „доказ дека нешто отсуствува“. Ако агентот не може да пристапи до извор на логови, не утврдил дека не се појавиле грешки. Таа разлика е мала во формулацијата, но огромна во оперативните последици.

Мерете го работниот тек, не демото

Течно демо може да скрие слаб систем. Оценувајте го агентот на реални задачи со текот на времето: колку често доаѓа до корисен исход, колку често прегледувачите ја прифаќаат неговата работа со мали измени, каде му е потребна ескалација и дали скратува значаен циклус. Вклучете ги трошоците за преглед, корекции, употреба на алатки и одржување.

Одржувајте мал сет за евалуација со репрезентативни задачи, вклучувајќи незгодни случаи и познати начини на неуспех. Извршувајте го повторно при промена на промптови, модели, алатки или дозволи. Ова е еквивалент на агентите за регресиско тестирање: спречува локално подобрување тивко да наруши способност од која зависи тимот.

На новиот соработник му треба добро управување

AI агентите нема да ја елиминираат потребата од вешти развивачи. Тие ја зголемуваат вредноста на вештините што отсекогаш биле важни: добро дефинирање на проблемот, раздвојување факти од претпоставки, дизајнирање безбедни интерфејси, прегледување промени и знаење кога да не се автоматизира.

Тимовите што ќе имаат најголема корист ќе ги третираат агентите како управувани соработници. Ќе им дадат тесни овластувања, корисен контекст, мерлива работа и доследна повратна информација. Ќе ги автоматизираат рутинските делови од расудувањето без да ја автоматизираат одговорноста.

Тоа е трајната можност. Агентот не мора да биде совршен за да стане продуктивен. Треба да биде поставен во систем каде неговата брзина е корисна, неговите грешки се видливи и човечкото расудување останува поврзано со секоја последователна одлука.