На повеќето тимови не им треба уште едно импресивно демо за ВИ. Ним им треба софтвер што може да забележи барање, да го собере вистинскиот контекст, да преземе ограничено дејство и да остави веродостоен запис за тоа што се случило.

Тоа е разликата помеѓу исечок и интегриран ВИ-агент. Исечокот може да сумира тикет или да подготви нацрт на прашање во прозорец за разговор. Агентот станува корисен кога е поврзан со реални работни текови: алатки за следење проблеми, складишта, документација, редици, системи за распоредување и патеки за одобрување. Моделот е важен, но е само една компонента на системот.

Размислувајте во работни текови, не во потсетници

Потсетникот е влез. Автоматизацијата е процес со активатор, состојба, алатки, одлуки, справување со неуспеси и исход. Третирањето на агентот како „паметен потсетник со API-пристап“ обично создава кревки системи што работат добро во демо со идеален тек, а лошо под нормален оперативен притисок.

Почнете со тесен работен тек што веќе има јасни влезови и мерлива дефиниција за завршеност. На пример, агент може да ги тријажира пристигнатите извештаи за грешки: да утврди кои детали за репродукција недостигаат, да пребара веројатни дупликати, да го означи проблемот и да подготви одговор за преглед од одржувач.

Тоа е подобар прв случај на употреба од „управувај со нашиот инженерски заостаток“. Ги ограничува алатките што му се достапни на агентот, го прави прегледот едноставен и му дава на тимот конкретен начин да процени дали автоматизацијата помага.

Опишете ја задачата како договор

Пред да изберете модел или рамка, запишете го оперативниот договор на агентот. Ова е повредно од обидот да се осмисли совршен системски потсетник.

• Активатор: Кој настан ја започнува работата?
• Влезови: Кои полиња, документи и претходни настани смее да ги користи?
• Дозволени дејства: Што може да чита, создава, менува или поднесува?
• Услови за запирање: Кога мора да побара човек, да се обиде повторно или безбедно да прекине?
• Излез: Кој структуриран резултат докажува дека работата е завршена?
• Одговорно лице: Кој ги прима исклучоците и останува одговорен за резултатот?

Ако тие прашања се нејасни, работниот тек не е подготвен за автономно извршување. ВИ нема да ја отстрани двосмисленоста; едноставно ќе направи таа да се извршува недоследно.

Дајте им на агентите алатки со граници

На корисните агенти им треба пристап до системи на евиденција, но широк пристап ретко е неопходен. На агент за тријажа на поддршка можеби му треба да прочита порака од клиент, да пребара одобрена содржина од базата на знаење, да создаде нацрт и да приложи забелешка за степенот на сигурност. Не му треба неограничен пристап до базата на податоци или дозвола да издава поврати на средства.

Дизајнирајте ги алатките како мали, типизирани операции. Наместо да изложите извршувач на команди за општа намена, обезбедете функции како find_duplicate_issues, create_issue_draft или request_review. Секоја алатка треба да ги валидира своите влезови, да спроведува авторизација и да враќа податоци што агентот може сигурно да ги користи.

{
  "issue_id": "1234",
  "proposed_labels": ["bug", "needs-reproduction"],
  "possible_duplicates": ["1198"],
  "draft_reply": "Could you share the version and steps to reproduce?",
  "requires_human_review": true
}

Структурираниот излез е важен бидејќи друг софтвер мора да го користи резултатот. Слободно формулираниот текст е одличен за човечки читател; тој е лош интерфејс за насочување, валидација и дневници за ревизија. Побарајте од моделот да произведе резултат обликуван според шема, а потоа валидирајте го пред да настане каков било спореден ефект.

Одделете го расудувањето од извршувањето

Еден од најздравите обрасци во дизајнот на агенти е да се оддели предложеното дејство од самото дејство. Моделот може да го анализира контекстот и да препорача следен чекор, но детерминистичкиот апликациски код треба да ги провери дозволите, задолжителните полиња, правилата на политиката и тековната состојба пред да направи промена.

За дејства со низок ризик, системот може да извршува автоматски по валидацијата. За дејства со значајни последици, треба да создаде предлог што може да се прегледа. Ова не е отстапка што го прави системот помалку способен. Така автоматизацијата станува употреблива во средини каде грешките имаат реална цена.

Размислете за асистент за управување со изданија. Тој може да ги собере споените промени, да ги идентификува недостасувачките белешки за изданието, да подготви барање за повлекување со зголемена верзија и да ги сумира ризиците. Човек може да го одобри барањето за повлекување и да го започне распоредувањето преку постојниот процес за издавање. Агентот ја забрзува работата без да стане неодговорен оператор во продукција.

Направете ги патеките на неуспех првокласни

Продукциските работни текови се полни со услови што демото ги избегнува: API-ја истекуваат, документите се во конфликт, дозволите се менуваат, податоците се нецелосни, а корисниците поднесуваат барања надвор од предвидениот опсег. Интеграцијата на агентот треба да биде дизајнирана околу овие реалности.

• Користете истекување на време и ограничени повторни обиди за повици на алатки.
• Направете ги операциите за запишување идемпотентни каде што е можно, за повторниот обид да не создаде дупликат-записи.
• Зачувајте ја состојбата на работниот тек за прекинатата задача да може да се продолжи или истражи.
• Запишувајте ги влезовите и излезите на алатките, одлуките и информациите за верзијата на моделот во трага за ревизија што ги почитува барањата за приватност.
• Насочувајте двосмислени случаи, случаи со ниска сигурност или чувствителни на политики, во именувана човечка редица.

Исто така, разликувајте неуспех на модел од неуспех на работен тек. Неисправно формулиран одговор може да се поправи преку валидација на шемата и ограничен повторен обид. Недостасувачки токен за авторизација или изменет договор со надолно API бара поинаков одговор: јасно прекинете, известете го одговорното лице и избегнувајте нагаѓање.

Оценувајте го системот таму каде што навистина работи

Моделските репери може да информираат избор, но не докажуваат дека агентот одговара на вашиот работен тек. Оценувајте ја целосната јамка: преземање контекст, избор на алатки, валидација на излезот, латентност, оптоварување од прегледот и квалитетот на конечниот деловен исход.

Создадете репрезентативен тест-сет од анонимизирани примери на реална работа. Вклучете вообичаени случаи, нецелосни влезови, спротивставени инструкции, застарени документи и барања што агентот мора да ги одбие. Дефинирајте како изгледа добриот резултат пред да ги погледнете резултатите. За агент за тријажа, тоа може да вклучува правилно насочување, без неовластени промени, корисни нацрти и ниска стапка на непотребни ескалации.

Потоа пуштајте постепено. Почнете со режим на набљудување, во кој агентот произведува препораки, но не презема дејство. Споредете го неговиот излез со човечките одлуки. Потоа, дозволете му да извршува повратни или дејства со мало влијание. Проширувајте го овластувањето само кога следењето покажува дека системот е сигурен за таа конкретна категорија работа.

Интеграцијата ја менува работата, не само интерфејсот

Највредните агенти не ги заменуваат внимателните професионалци. Тие ја отстрануваат повторливата координациска работа, порано ги откриваат недостасувачките информации и го претвораат расфрланиот контекст во применлив следен чекор. Тоа го менува начинот на кој луѓето го трошат времето: расудување, справување со исклучоци, одлуки за производот и подобрување на самиот работен тек.

Трајното прашање не е: „Каде можеме да додадеме копче за ВИ?“ Туку: „Која повторлива одлука може да се донесе побрзо и побезбедно кога модел работи во добро дизајниран систем?“ Одговорете на тоа прашање тесно, дајте му јасни граници на агентот и изградете го придружниот софтвер со истото внимание што би го примениле за секоја продукциска автоматизација.

Така ВИ-агентите се движат надвор од исечоците: не преку театарска автономија, туку преку сигурни системи што го заслужуваат правото да вршат корисна работа.