На повеќето тимови не им е потребен AI агент затоа што сакаат футуристичка демонстрација. Им е потребен затоа што важната работа постојано пропаѓа во празнините меѓу системите: проблем со поддршката што бара истрага, распоредување што бара валидација, безбедносен наод што бара насочување или прашање за производот што бара докази од неколку места.

Тука разговорот оди подалеку од автоматизацијата. Традиционалната автоматизација извршува однапред дефинирана патека. AI агентот може да помогне во толкувањето на целта, собирањето контекст, изборот од одобрени дејства и известувањето за тоа што направил. Кога се користи добро, станува инженерски партнер: не автономна замена за расудувањето, туку способен соработник што работи во јасни граници.

Автоматизацијата следи правила; агентите работат низ неизвесност

Закажана задача што ротира дневници, извршува тест-пакет или синхронизира две полиња е автоматизација. Таа е детерминистичка по дизајн. Нејзината сила е повторливоста.

Агентот е покорисен кога патеката не може целосно да се наведе однапред. Разгледајте асистент за тријажа на инциденти. Активирачот може да биде едноставен: предупредување преминува праг. Но следните чекори зависат од услугата, неодамнешните распоредувања, обрасците на грешки, познатите оперативни упатства и од тоа дали сигналот е реален. Агентот може да го состави тој контекст, да ги сумира веројатните причини и да го предложи следниот безбеден чекор за истрага.

Разликата е важна бидејќи го менува дизајнерското прашање. Наместо да прашувате: „Која задача можеме да му ја предадеме на моделот?“, прашајте: „Каде човекот постојано троши време претворајќи расфрлани информации во ограничена одлука?“

Почнете со тесен работен тек со богат контекст

Широки налози како „да ја направиме нашата инженерска организација агентска“ создаваат забуна. Почнете со еден работен тек што е чест, мерлив и во моментов забавен поради собирањето контекст.

Добрите рани кандидати често вклучуваат:

• Сумирање на pull request заедно со релевантни тикети, тестови и архитектонски белешки.
• Класифицирање на пристигнати извештаи за поддршка и изработка на репродуцибилен извештај за грешка.
• Истражување неуспешни изградби со собирање дневници, неодамнешни промени и познати чекори за отстранување на проблемот.
• Подготовка на контролна листа за издание врз основа на наведените промени и конвенциите на складиштето.
• Одговарање на внатрешни прашања од курирана база на знаење што ги зема предвид дозволите.

Ова не се гламурозни случаи на употреба, токму затоа се вредни. Имаат постојни човечки работни текови, препознатливи влезни податоци и исходи што рецензентот може да ги оцени. Исто така откриваат каде лежи вистинската сложеност: дозволи, застарена документација, двосмислени барања и ненадежни надворешни алатки.

Дефинирајте ја работата на агентот со оперативни поими

Корисна спецификација за агент е поблиска до API договор отколку до опис на работно место. Наведете го активирачот, достапниот контекст, дозволените алатки, очекуваниот излез, условите за ескалација и сопственикот. „Помагај со распоредувања“ е нејасно. „Кога ќе има неуспешно распоредување во staging, собери одобрена дијагностика, спореди го манифестот за издание со претходното успешно распоредување и изработи препорака за опоравување што може да се прегледа“ е применливо.

Подеднакво важно е да се дефинира што агентот не смее да прави. Може да му биде дозволено да чита дневници, но не и да ја менува инфраструктурата. Може да создаде нацрт-тикет, но не и да известува клиенти. Може да препорача враќање назад, но да бара овластен човек да го изврши.

Градете агенти како системи, не како промптови

Силен промпт помага, но продукциското однесување произлегува од околниот систем. Моделите се пробабилистички; работниот тек околу нив мора да обезбеди структура, валидација и набљудливост.

Прво, дајте му на моделот авторитативен контекст наместо да очекувате да памети организациски факти. Тоа може да вклучува тековно оперативно упатство, податоци за сопственоста на услугата, одобрена документација или тесно ограничен резултат од пребарување. Задржете ги изворите припишливи во излезот, за рецензентите да можат да разликуваат докази од заклучоци.

Второ, направете ги алатките експлицитни и тесно наменети. Алатката треба да има јасна цел, типизирани влезови каде што е можно и ограничен опсег на дозволи. Избегнувајте една интеграција „направи сè“. Одвојте го пребарувањето распоредувања само за читање од дејство за распоредување, на пример, за политиката да може да бара чекор за потврда пред нешто да се промени.

Трето, валидирајте го секој последователен излез. Ако агентот произведува структурирани податоци, проверете ги пред понатамошна употреба. Ако препорачува команда, прикажете ја командата и нејзината цел. Ако создава проблем, барајте задолжителни полиња. Моделите можат да произведат веродостоен текст; валидацијата ја претвора веродостојноста во оперативно безбеден интерфејс.

Цел: истражи неуспешно распоредување
Дозволени дејства:
1. Читај статус на распоредување и одобрени дневници
2. Читај го манифестот за издание
3. Пребарувај го оперативното упатство за инциденти
4. Изработи дијагноза со наведени докази
Ескалирај кога:
- се потребни акредитиви, податоци за клиенти или промени во продукција
- доказите се нецелосни или противречни
- довербата е недоволна за препорака

Овој вид договор не е бирократија. Тој спречува агентот да стане нејасен разговорен слој околу ризични операции.

Дизајнирајте за неуспех пред да дизајнирате за воодушевување

Неуспесите на агентите ретко се драматични на почетокот. Почесто, системот користи стар контекст, ја повикува погрешната алатка со речиси точен аргумент, повторува дејство што не треба да се повтори или самоуверено пополнува празнина со претпоставка. Ова се вообичаени инженерски грижи, а не единствени недостатоци на AI.

За секој повик на алатка, одлучете дали е само за читање, идемпотентен, повратен или деструктивен. Повиците само за читање често може безбедно да се повторат. Барање што создава запис видлив за клиентите или ја менува состојбата во продукција има потреба од посилни контроли: клучеви за идемпотентност, потврда, евиденција за ревизија и јасно постапување кога резултатот е неизвесен.

Кога алатката ќе откаже, агентот не треба бескрајно да импровизира. Треба да го пријави неуспехот, да го зачува корисниот контекст што го собрал и да предаде со конкретно барање. „Не може да се преземе историјата на распоредување поради грешка во овластувањето; манифестот за издание укажува на верзија X; оператор со пристап за читање на распоредувања треба да ја потврди претходната успешна верзија“ е покорисно од измислена дијагноза.

Задржете ги луѓето во циклусот таму каде што расудувањето носи последици

Човечкиот преглед не е знак дека агентот не успеал. Често е самиот дизајн на производот. Соодветното ниво на надзор зависи од цената на грешката, повратноста на дејството, квалитетот на достапните докази и засегнатата публика.

Практичен развој е да се почне со набљудување и изработка на нацрти, потоа да се премине кон препораки, а потоа кон одобрено извршување со низок ризик. На пример, агентот може прво да сумира инциденти, подоцна да го предложи релевантниот чекор од оперативното упатство и само по внимателна евалуација да му биде дозволено да рестартира некритична услуга според експлицитна политика.

На рецензентите им треба доволно информации за да донесат брза одлука. Прикажете ги разгледаните докази, обидите за дејства, направените претпоставки и точната предложена промена. Исполиран одговор без следливост може да изгледа импресивно, но не гради доверба.

Мерете партнерство, не само обем на излез

Броењето генерирани резимеа или повици на алатки може да доведе во заблуда. Позначајните прашања се дали агентот го намалува времето до издржана одлука, ги подобрува предавањата, забележува информации што недостасуваат и избегнува создавање нов товар за преглед.

Следете мал сет мерки специфични за работниот тек: стапка на прифаќање на нацртите, време потрошено за собирање контекст, зачестеност на ескалации, обрасци на корекции и инциденти предизвикани или спречени од процесот. Внимателно прегледувајте ги одбиените излези. Тие откриваат дали проблемот е во дизајнот на промптот, недостиг на контекст, лоши граници на алатките или работен тек што треба да остане конвенционална автоматизација.

Најтрајните агенти нема да бидат оние што изгледаат најнезависни. Ќе бидат оние што ги прават способните луѓе побрзи, поинформирани и подоследни, без да ја кријат неизвесноста. Тоа е вистинската промена: AI агентите не мора да го заменат инженерското партнерство. Со дисциплиниран дизајн на системот, тие можат да станат дел од него.