Агентите за вештачка интелигенција се најкорисни кога престануваме да ги третираме како паметни прозорци за разговор и почнуваме да ги третираме како софтверски системи. Добар агент може нејасното барање да го претвори во низа дејства: да го испита контекстот, да избере алатка, да создаде излез, да го провери и да побара помош кога неизвесноста е преголема. Тоа е моќно — но само кога и околното инженерство е подеднакво промислено.

Практичното прашање не е „Каде можеме да додадеме агент?“ Туку: „Која повторлива одлука или работен тек би станал побрз, побезбеден или поконзистентен ако моделот може да обработува ограничени делови од него?“ Одговорот обично е потесен отколку што сугерира патоказот за производот. Тоа е предност. Тесните, набљудливи работни текови се местото каде што тимовите учат како одговорно да интегрираат ВИ.

Почнете со работен тек, не со модел

Изборот на модел е важен, но треба да следи по дизајнот на работниот тек. Почнете со мапирање на работата како што се одвива денес: активирачот, влезовите, одлуките, користените алатки, очекуваниот излез и лицето што е одговорно за конечниот резултат.

Разгледајте работен тек за инженерска поддршка. Пристигнатиот проблем може да бара репродуцирање на проблемот, пребарување познати инциденти, собирање релевантни логови, изготвување одговор и ескалирање кога доказите се нецелосни. Агентот не мора да „ја реши поддршката“. Тој може да помогне да се класифицира проблемот, да се преземе одобрена документација, да се сумираат доказите и да се подготви пакет за ескалација.

Ова врамување ги открива границите што се важни. Кои чекори може да се автоматизираат? Кои бараат одобрување? Кои податоци се дозволени во промптот? Што го прави одговорот прифатлив? Ако на тие прашања не може да се одговори, додавањето автономна јамка само ќе го замагли веќе нејасниот процес.

Дизајнирајте ги агентите како ограничени корисници на алатки

Корисните агенти комбинираат јазичен модел со експлицитни упатства, достапен контекст и ограничен збир алатки. Моделот обезбедува флексибилно расудување и јазик; системот обезбедува структура и контроли. Избегнувајте да му давате на агентот широк пристап само затоа што некоја задача можеби повремено ќе го бара.

Добро дизајнираниот интерфејс на алатките е специфичен. Наместо општа можност за „пристап до база на податоци“, обезбедете операција како get_customer_order_status(order_id). Наместо неограничен пристап за распоредување, обезбедете работен тек што создава предложен план за распоредување за преглед. Малите интерфејси полесно се обезбедуваат, тестираат, ревидираат и објаснуваат.

Направете ги резултатите од алатките машински читливи

Агентите работат посигурно кога алатките враќаат предвидливи полиња, наместо проза наменета за табла за човечки корисници. Одговор што ги разликува status, data, error_code и retryable му дава на агентот основа за следното дејство.

{
  "status": "error",
  "error_code": "RATE_LIMITED",
  "retryable": true,
  "retry_after_seconds": 30
}

Тоа не гарантира совршено однесување, но избегнува да го принудува моделот да извлекува оперативно значење од двосмислен текст. Исто така, овозможува да се изградат детерминистички заштитни механизми околу одлуките на моделот.

Одвојте го планирањето од извршувањето

Чест начин на неуспех е да му се дозволи на агентот да планира и дејствува во еден непрозрачен чекор. Побезбеден образец е агентот да предложи план, тој да се потврди според политиката, а потоа да се извршуваат само одобрени дејства. Ова е особено важно за операции што влијаат врз клиенти, продукциски системи, финансии или чувствителни податоци.

На пример, инфраструктурен асистент најпрво може да создаде структурирано барање за промена што ја содржи целната средина, планираните промени, пристапот за враќање назад и белешките за ризик. Валидатор може да отфрли барања на кои им недостигаат задолжителни полиња или кои се насочени кон заштитена средина. Човечки прегледувач може да го одобри планот пред да биде достапна која било алатка за промена.

• Стандардно користете алатки само за читање.
• Барајте експлицитно одобрување за неповратни или надворешно видливи дејства.
• Поставете ограничувања за повторни обиди, повици на алатки, време и трошок по задача.
• Зачувајте ревизорска трага од влезови, повици на алатки, излези и одобрувања.
• Обезбедете му на агентот јасен пат за ескалација кога нема доволно докази.

Човечкиот преглед не е знак дека агентот не успеал. Кај работа со големи последици, прегледот е дел од дизајнот на системот. Целта е човечкиот напор да се насочи кон расудување и справување со исклучоци, а не да се преправаме дека секоја одлука е рутинска.

Втемелете ги одговорите во вистинскиот контекст

Агент без релевантен контекст често звучи способно, додека прави слаби претпоставки. Решението не е секој документ да се вчита во секој промпт. Туку да се преземе најмалиот доверлив збир информации потребен за тековната задача.

За интерен инженерски асистент, тоа може да ги вклучува прирачникот за работа на услугата, тековната политика за инциденти и мал збир неодамнешни, одобрени резимеа на инциденти. Контекстот треба да биде ограничен според улога, закупец, складиште или проект, каде што е соодветно. Резултатите од преземањето исто така треба да носат доволно потекло за корисникот да може да го провери основниот извор.

Свежината е важна исто колку и релевантноста. Совршено преземен, но застарен водич за распоредување може да биде полош од воопшто да нема водич. Воспоставете сопственост над изворите на знаење, дефинирајте кога содржината се прегледува и овозможете исклучување на застарен материјал. Агентите го засилуваат квалитетот на контекстот што го добиваат, вклучително и неговите празнини.

Оценете го однесувањето пред да го проширите пристапот

Традиционалното тестирање на софтвер проверува дали познатите влезови произведуваат познати излези. Оценувањето на агентите, исто така, треба да мери расудување при варијации: нецелосни барања, спротивставени упатства, недостапни алатки, неправилно форматирани податоци и барања што треба да се одбијат или ескалираат.

Создадете репрезентативен сет за оценување од анонимизирани примери на реална работа и очекувани исходи. Оценувајте повеќе од конечната формулација. Дали агентот избра дозволена алатка? Дали ги зачува задолжителните ограничувања? Дали ја препозна неизвесноста? Дали застана по неуспех што може повторно да се обиде, наместо да влегува во бесконечна јамка?

Извршувајте ги овие оценувања секогаш кога се менуваат промптовите, алатките, логиката за преземање или моделите. Следењето во продукција треба да ги надополни со мерки што го одразуваат работниот тек: стапка на завршување, стапка на корекции, стапка на ескалација, неуспеси на алатки, латентност и повратни информации од корисниците. Угладена демонстрација е набљудување; практиката на оценување е оперативна способност.

Градете за неуспех, не само за успех

Секој агент ќе наиде на недостасувачки контекст, недостапни услуги, спротивставени упатства и двосмислени барања. Експлицитно дизајнирајте ги тие патеки. Разумен резервен пристап може да биде враќање делумно резиме со наведени влезови, ставање на задачата во редица за преглед или поставување едно насочено прашање за појаснување.

Не дозволувајте агентот тивко да ја замени сигурноста со докази. Во софтверската работа, концизното „Не можев да ја потврдам конфигурацијата бидејќи пребарувањето во складиштето не врати соодветна датотека“ често е повредно од разработена претпоставка. Сигурните системи ја прават неизвесноста видлива.

Усвојувањето е тимска практика

Трајното влијание на агентите произлегува од менувањето на начинот на кој тимовите го спакуваат знаењето и ја дефинираат повторливата работа. Јасните прирачници за работа, дисциплинираните интерфејси, значајните логови, границите на сопственост и одлуките што може да се прегледаат стануваат уште повредни. Тоа не се доблести специфични за ВИ; агентите едноставно го прават нивното отсуство потешко за игнорирање.

Почнете со еден ограничен работен тек, инструментирајте го и внимателно слушајте ги луѓето што го користат. Одржувајте го овластувањето на агентот пропорционално на доказите дека е сигурен. Со текот на времето, најдобрите интеграции ќе наликуваат помалку на вештачка интелигенција што прави магија, а повеќе на добро дизајниран софтвер што ги прави способните луѓе поефикасни.