На повеќето софтверски тимови не им се потребни „ВИ-функции“ во апстрактна смисла. Ним им се потребни подобри одлуки, побрзо предавање на задачи, помалку повторливи задачи и системи што можат безбедно да дејствуваат кога следниот чекор е јасен. Тоа е разликата помеѓу додавање прозорец за разговор во производ и интегрирање ВИ-агент во вистинската работа.

ВИ-агент не е едноставно модел со потсетник. Тој е систем што може да интерпретира цел, да користи дефинирани алатки, да ги провери резултатите и да одлучи дали е потребна дополнителна работа. Моделот обезбедува флексибилно расудување и разбирање на јазикот; софтверот што го опкружува обезбедува идентитет, дозволи, пристап до податоци, валидација, набљудливост и ограничувања.

Таа разлика е важна бидејќи највредните проекти со агенти обично се проекти за интеграција. Тешката работа ретко е изборот на паметен потсетник. Таа е поврзување на интелигенцијата со вистинскиот контекст и дејства без создавање кревок, скап или небезбеден слој за автоматизација.

Почнете со работен тек, а не со модел

Слаба ВИ-иницијатива почнува со нејасно прашање: „Каде можеме да користиме голем јазичен модел?“ Посилна иницијатива почнува со работен тек што веќе има триење. Можеби персоналот за поддршка постојано сумира истории на сметки. Можеби инженерите трошат време на класифицирање на пристигнати дефекти. Можеби оперативен тим рачно проверува дали барањето исполнува политика пред да го пренасочи.

Барајте работа со три квалитети: влезот е разумно достапен, посакуваниот исход е разбирлив и човек може да ги прегледа или поништи грешките. Ова се подобри основи од задачи избрани само затоа што звучат импресивно.

На пример, разгледајте внатрешен асистент за инциденти. Основна функција може да сумира предупредување. Агентски работен тек може да оди подалеку: да преземе релевантни прирачници, да ги провери метаподатоците за неодамнешните распоредувања, да собере поврзани предупредувања, да состави ажурирање за статусот и да отвори тикет за инженер на дежурство да го прегледа. Агентот е корисен не затоа што создава елоквентна проза, туку затоа што го намалува времето потребно за составување точна оперативна слика.

Дизајнирајте ја границата помеѓу расудувањето и дејствувањето

Моделите се добри во интерпретирање неструктурирани влезови, генерирање алтернативи и справување со двосмисленост. Тие не се замена за детерминистички деловни правила. Ако правило може јасно да се изрази во код, кодирајте го во код. Нека агентот се справува со деловите што имаат корист од флексибилна интерпретација.

Ова води до практична шема за дизајн: користете го моделот да предложи, а потоа користете софтвер да потврди и изврши. Агентот може да извлече побарани промени од е-пошта, но валидатор треба да ги потврди задолжителните полиња. Може да препорача план за распоредување, но системот за распоредување треба да спроведува заштити на околината. Може да состави одговор до клиент, но човек треба да одобри пораки што вклучуваат поврати, правни обврски или чувствителни сметки.

Направете ги алатките тесно насочени и експлицитни

Агентот не треба да добие неограничен пристап до база на податоци, школка или продукциска контролна рамнина. Наместо тоа, изложете мали алатки со јасни влезови и предвидливи излези. Алатка со име get_customer_orders(customer_id) е полесна за овластување, тестирање и ревизија отколку широк пристап до база на податоци. Алатка со име create_draft_ticket(title, body) е побезбедна од општа акредитација за следење проблеми.

Дизајнот на алатките исто така ја подобрува доверливоста. Моделот има помалку простор за претпоставки, додека платформата има повеќе можности да одбие невалидни барања пред да се случи нешто важно.

• Дајте ѝ на секоја алатка една фокусирана одговорност.
• Валидирајте ги влезовите пред алатката да дејствува.
• Враќајте структурирани резултати што агентот лесно може да ги интерпретира.
• Одделете ги алатките само за читање од алатките што ја менуваат состојбата.
• Барајте експлицитна потврда за последователни дејства.

Контекстот е одлука за производот

Агентот не може да донесува здрави одлуки само врз основа на генерички потсетник. Му е потребен специфичниот контекст што би го побарал способен колега: тековни детали за сметката, применлива политика, состојба на системот, неодамнешна историја и дефиниција за успешен исход. Но повеќе контекст не е секогаш подобар. Нефилтрираниот контекст може да биде застарен, противречен, доверлив или едноставно да одвлекува внимание.

Третирајте го преземањето контекст како дел од дизајнот на производот. Одлучете кои записи се релевантни, колку свежи мора да бидат, кому му е дозволен пристап до нив и што треба да направи агентот кога недостигаат информации. Последното прашање е особено важно. Доверлив агент треба да може, всушност, да каже: „Немам доволно докази за да продолжам“, а потоа да побара преглед или да избере безбедна резервна патека.

За асистент за продажни операции, тоа може да значи преземање само на записите поврзани со тековната сметка и можност. За асистент за преглед на код, тоа може да значи ограничување на анализата на предложената промена, нејзините тестови и документираните конвенции, наместо обид да се заклучи целата кодна база од неколку датотеки.

Градете за неуспех пред размер

Однесувањето на агентот е пробабилистичко, а надворешните системи откажуваат на вообичаени начини: истекување на времето, грешки во дозволите, дупликат-барања, нецелосни податоци и интерфејси што се менуваат. Продукцискиот дизајн мора да ги земе предвид и двете.

Претпоставете дека на агентот му е дозволено да создаде задача за следење откако ќе класифицира барање од клиент. Ако API-повикот успее, но одговорот се изгуби, наивното повторување може да создаде дупликати. Крајната точка за дејство треба да поддржува клуч за идемпотентност, а работниот тек треба да го запише резултатот пред да продолжи. Ако преземањето контекст истече, агентот не треба да измисли одговор; треба да го пријави ограничувањето и соодветно да го пренасочи случајот.

1. Прими барање и додели ID на работен тек.
2. Преземи овластен контекст.
3. Побарај од моделот структуриран предлог.
4. Валидирај ги задолжителните полиња и ограничувањата на политиките.
5. Побарај човечко одобрување кога е потребно.
6. Изврши го дејството со клуч за идемпотентност.
7. Запиши ги влезовите, одлуките, дејствата и конечниот статус.

Ова можеби изгледа помалку магично од автономна демонстрација. Но исто така е многу поблиску до систем на кој луѓето можат да му веруваат.

Мерете ја оперативната вредност, а не разговорниот шарм

Течен одговор може да прикрие слаб работен тек. Оценувајте ги агентите со истата дисциплина што се користи за друг софтвер: дефинирајте очекувани исходи, соберете репрезентативни случаи, тестирајте режими на неуспех и следете го однесувањето во продукција.

Вистинската метрика зависи од работата. Агент за тријажа може да се оценува според правилно пренасочување и квалитет на ескалација. Агент за обработка на документи може да се оценува според точност на извлекување и време за преглед. Асистент за развивачи може да се оценува според тоа дали помага да се создадат помали, подобро тестирани промени со помалку преработка. Квалитетот на одговорот е важен, но е само еден дел од системот.

Одржувајте збир за преглед што вклучува рутински случаи, двосмислени случаи, неправилно форматирани влезови и барања што агентот мора да ги одбие. Повторно извршувајте го кога ќе се променат потсетниците, моделите, алатките, политиките или логиката за преземање. Ова не е бирократија; тоа е регресиско тестирање за однесување што не може да се гарантира со традиционален систем на типови.

Усвојувањето е проблем на управување со промените

Дури и технички исправен агент може да не успее ако луѓето не ја разбираат неговата улога. Корисниците треба да знаат што може да направи, што не може да направи, кога дејствува автоматски и како да го исправат. На тимовите што управуваат со системот им е потребна јасна одговорност за потсетници, алатки, податоци за оценување и одговор на инциденти.

Почнете со видлива помош пред скриена автоматизација. Дозволете им на луѓето да ги прегледаат предлозите, да ги споредат со вообичаениот процес и да ги идентификуваат празнините. Како што се акумулираат докази, автоматизирајте ги нискоризичните чекори што постојано функционираат. Ова напредување гради доверба, истовремено откривајќи ги исклучоците што заслужуваат човечко расудување.

Интелигенцијата станува вредна кога е поврзана

Трајната можност во ВИ не е збирка од новитетни функции. Тоа е софтвер што носи корисно расудување во просторите помеѓу системи, документи, одлуки и луѓе. Моделот е важен, но не е целиот производ.

Градете агенти околу вистински работни текови. Дајте им тесно насочени алатки, релевантен контекст, јасни заштитни мерки и искрени патеки за неуспех. Мерете дали ја подобруваат работата, а не дали звучат импресивно. Кога интелигенцијата е интегрирана на овој начин, ВИ престанува да биде декоративен слој и станува дел од начинот на кој доверливиот софтвер ја завршува работата.