ВИ агентите лесно се опишуваат, но изненадувачки тешко добро се воведуваат. Привлечната верзија е едноставна: дајте му на системот цел, поврзете го со неколку алатки и оставете го да работи. Оперативната верзија е позахтевна. Агентот може да пребарува, да изготвува нацрти, да класифицира, да повикува услуги, да ажурира записи и да координира чекори низ работен процес. Исто така, може брзо да направи скапа грешка ако неговите овластувања, контекст или правила за запирање се нејасни.

Корисното прашање не е дали агентите ќе ги заменат луѓето. Тоа е каде делегираната интелигенција создава предност без да ја замагли одговорноста. Силните имплементации го третираат агентот како ограничена системска компонента: способна во дефинирана област, набљудлива додека работи и неспособна да ги надмине дозволите што навистина ѝ се потребни.

Агентите се системи, а не само модели

Јазичниот модел генерира или трансформира информации. Агентот ја комбинира таа способност со инструкции, состојба, алатки и циклус за одлучување што да прави понатаму. Токму таа комбинација ги прави агентите вредни — и токму затоа бараат инженерска дисциплина.

Размислете за агент за тријажа на поддршка. Тој може да прочита пристигнат тикет, да ја идентификува областа на производот, да пронајде релевантна внатрешна документација, да предложи одговор и да создаде правилно означен запис кога проблемот изгледа дека е дефект. Ниту еден од тие чекори сам по себе не е мистериозен. Сложеноста доаѓа од одлучувањето до кои документи смее да пристапи, кога смее да создаде запис, што треба да прави со двосмислени барања и како човек може да го прегледа исходот.

Со други зборови, моделот е само една зависност. Околниот систем одредува дали агентот е доверлив.

Почнете со тесна, мерлива задача

Широките мандати создаваат нејасно однесување. „Подобрете го корисничкото искуство“ не е задача за агент. „Изготви одговор за барања за ресетирање лозинка користејќи одобрена содржина за помош, а потоа испрати го нацртот на преглед“ е задача со граници.

Добар прв случај на употреба има три квалитети:

• Јасен влез: тикет, документ, предупредување, поднесен формулар или структуриран настан.
• Корисен, но ограничен излез: нацрт, класификација, резиме, препорака или предложено дејство.
• Проверлив резултат: прегледувач може да го одобри, правило може да го валидира или надолен систем може да отфрли невалидни податоци.

Овој пристап е помалку драматичен од лансирање дигитален работник за општа намена, но брзо создава учење. Тимовите можат да мерат точност, напор за преглед, обрасци на неуспех, латентност и трошок пред да ја прошират улогата на агентот.

Одвојте ги препораките од неповратните дејства

Не на секој работен процес му е потребно исто ниво на автономија. Агентот може да препорача поврат на средства, да идентификува сомнително распоредување или да состави барање за промена без да му биде дозволено да го изврши конечниот чекор. Оваа разлика е еден од наједноставните начини да се зачува контролата.

Користете постепено доделување овластувања. Почнете со пристап само за читање и генерирани нацрти. Потоа дозволете ажурирања со низок ризик и валидација. Финансиски трансфери, промени во продукција, затворање сметки, промени на дозволи и надворешни обврски резервирајте ги за изречно одобрување или строго ограничена автоматизација.

Дизајнирајте ја границата на алатките исто толку внимателно како и промптот

Алатките на агентот ја дефинираат неговата моќ во реалниот свет. Ако некоја алатка може да запишува во база на податоци, да испраќа е-пошта, да распоредува код или да менува дозволи, агентот не треба да добие широки акредитиви само затоа што тоа е погодно.

Претпочитајте операции специфични за задачата наместо неограничен пристап. Функција како create_draft_ticket е побезбедна од општ пристап за запишување во база на податоци. Асистент за распоредување треба да повика цевковод со фиксни околини и задолжителни проверки, наместо да извршува произволни shell команди.

Валидацијата припаѓа блиску до дејството. Не потпирајте се единствено на моделот да произведе валиден структуриран излез. Валидирајте шеми, наметнете дозволени вредности, барајте клучеви за идемпотентност каде што е соодветно и отфрлајте нецелосни барања пред да стигнат до систем со значајни последици.

{
  "action": "create_issue",
  "project": "payments",
  "priority": "medium",
  "summary": "Checkout request fails after address update"
}

Шемата може да осигури дека полињата постојат и дека priority е една од дозволените вредности. Таа не може да утврди дали дијагнозата е точна. За тоа сè уште се потребни добро пребарување, јасни инструкции, следење и понекогаш човечка проценка.

Направете ја неизвесноста исход од прв ред

На доверливите агенти им е потребна дозвола да запрат. Кога недостасуваат информации, изворите се во конфликт, барањето е надвор од политиката или дејството има значајни последици, ескалацијата често е точниот резултат — а не неуспех на интелигенцијата.

Изградете експлицитни патеки за неизвесност:

• Поставете фокусирано дополнително прашање кога недостига задолжителен детал.
• Вратете структуриран резултат „потребен е преглед“ кога довербата е недоволна.
• Цитирајте ги или поврзете ги доказите користени за препорака кога публиката треба да ги потврди.
• Одбијте дејства што ја нарушуваат политиката, ги надминуваат дозволите или немаат потребно одобрување.

Ова е особено важно кога агентите користат пребарување. Пронајдениот материјал може да биде застарен, нецелосен, нерелевантен или злонамерно напишан. Третирајте го пронајдениот текст како влез што треба да се оцени, а не како инструкции што автоматски ги надминуваат правилата на системот.

Набљудливоста ја претвора автоматизацијата во инженерска практика

Ако на агентот му е дозволено да дејствува, неговата работа треба да биде следлива. Снимете ги барањето, избраните алатки, влезовите и излезите на алатките, состојбата на одлуката, конечниот резултат и секоја човечка интервенција. Внимателно ракувајте со чувствителните податоци, со соодветно прикривање и контроли на задржување, но не правете го системот толку нетранспарентен што неуспесите не можат да се истражат.

Дневниците поддржуваат повеќе од дебагирање. Тие откриваат дали агентот постојано бара информации што недостигаат, злоупотребува алатка, произведува кршливи формати на излез или испраќа премногу случаи на човечки преглед. Тие обрасци упатуваат на конкретни подобрувања: подобар изворен материјал, потесна задача, посилна валидација, ревидиран дизајн на алатки или различен праг за одобрување.

Евалуацијата треба да ја одразува вистинската задача. За агент за обработка на документи, тестирајте ја точноста на извлекување и квалитетот на ескалацијата. За асистент за кодирање, оценувајте ги точноста, безбедноста, одржливоста и покриеноста со тестови — не само дали произвел код што изгледа веродостојно. Чувајте репрезентативен сет од вообичаени, двосмислени и адверсаријални случаи, а потоа повторно извршувајте го секогаш кога се менуваат промптови, алатки, модели или изворен материјал.

Интегрирајте ги агентите во работата на која луѓето веќе ѝ веруваат

Најдоброто искуство со агент ретко почнува со прозорец за разговор. Тоа се појавува таму каде што работата веќе се одвива: преглед на pull request, редица на сервисна служба, запис во CRM, предупредување за следење или внатрешен работен процес за знаење. Интерфејсот треба јасно да покаже што направил агентот, какви докази користел и што може да направи корисникот понатаму.

За софтверски тимови, агентот може да резимира временска линија на инцидент, да собере релевантни врски до прирачници и да подготви предложено ажурирање на статусот. Не треба тивко да одлучува за основната причина или да менува продукциски системи за време на активен инцидент. Целта е да се намали трошокот за координација, додека одговорните одлуки остануваат видливи за луѓето што се одговорни за нив.

Контролата е она што ја прави интелигенцијата корисна

ВИ агентите се највредни кога ја намалуваат повторливата когнитивна работа без да создаваат нова класа скриен оперативен ризик. Нивното ветување не е автономна активност сама за себе. Тоа е добро дизајнирано делегирање: вистинската задача, вистинскиот контекст, минимално неопходното овластување и јасен пат назад до човечката проценка.

Прво изградете ја таа основа. Агент што знае кога да дејствува, кога да објасни и кога да запре ќе стекне доверба. Откако ќе постои доверба, способноста може да расте без да се жртвува контролата што го направила усвојувањето вредно.