AI agent nije jednostavno chatbot s duljim upitom. To je sustav koji može protumačiti cilj, odabrati sljedeću radnju, koristiti alate, promatrati rezultat i nastaviti dok ne dosegne korisnu točku zaustavljanja. Ta je razlika važna jer produkcijski rad rijetko predstavlja samo jednu razmjenu pitanja i odgovora. On je lanac odluka donesenih na temelju nesavršenih podataka, postojećeg softvera, dozvola, neuspjeha i ljudskih očekivanja.

Privlačnost agenata nije u tome što zamjenjuju svaki radni proces. Ona je u tome što mogu preuzeti odgovornost za zamornu koordinaciju između sustava: prikupljanje konteksta, pripremu nacrta, pozivanje odobrenih usluga, provjeru ishoda i eskalaciju kada je potrebna prosudba. Teži je dio dobro osmisliti te granice.

Od upita do operativne petlje

Upit može zatražiti od modela da sažme zahtjev za podršku. Agentski radni proces može primiti zahtjev, dohvatiti relevantne pojedinosti o računu i dokumentaciju, klasificirati problem, sastaviti odgovor, izraditi predloženi zadatak za daljnje postupanje i predati rezultat čovjeku na odobrenje. Model pruža jezik i zaključivanje; okolni sustav pruža memoriju, alate, stanje, pravila i kontrolu.

Korisni mentalni model jest operativna petlja:

1. Primite cilj i dovoljno konteksta da ga razumijete.
2. Isplanirajte sljedeću ograničenu radnju.
3. Pozovite alat ili izradite artefakt.
4. Provjerite rezultat prema izričitim kriterijima.
5. Nastavite, sigurno pokušajte ponovno, eskalirajte ili stanite.

Svaki bi korak trebao biti vidljiv. Ako radni proces ne može objasniti koje je alate pozvao, koje je podatke upotrijebio i zašto je stao, bit će mu teško vjerovati kada nešto pođe po zlu.

Započnite s uskim zadatkom vrijednim automatizacije

Ambiciozni projekti „općeg agenta” često propadaju jer je cilj previše neodređen. Bolji prvi projekt ima jasan ulaz, nedvosmislen izlaz, ograničen skup alata i odgovornog vlasnika. Primjeri uključuju razvrstavanje pristiglih izvješća o pogreškama, pripremu bilješki o izdanju iz odobrenih promjena, provjeru zahtjeva za spajanje prema dokumentiranim konvencijama tima ili sastavljanje početne vremenske crte incidenta iz zapisnika i zahtjeva.

Najjači rani slučajevi primjene obično imaju dva svojstva: posao je dovoljno repetitivan da automatizacija pomaže, a trošak pogrešnog odgovora može se ograničiti. Agent koji sastavlja sažetak promjene za pregled predstavlja posve drukčiji rizik od onoga koji izravno mijenja kontrole pristupa u produkciji.

Definirajte ugovor prije odabira modela

Zapišite što agent smije čitati, što smije pisati, koje radnje zahtijevaju odobrenje i kako izgleda uspješan ishod. Taj je ugovor vrijedniji od razrađenog upita jer nejasnu ideju pretvara u inženjerski problem.

• Ulazi: Koji su zapisi, dokumenti, repozitoriji ili događaji u opsegu?
• Izlazi: Je li rezultat nacrt, strukturirani zapis, preporuka ili izvršena radnja?
• Dozvole alata: Koje su operacije samo za čitanje, reverzibilne ili ograničene?
• Eskalacija: Koja nesigurnost, rizik ili iznimka mora doći do osobe?
• Evaluacija: Kako će tim prepoznati korisne, netočne, nepotpune i nesigurne rezultate?

Kada je taj ugovor uspostavljen, odabir modela postaje praktičan kompromis između kvalitete, latencije, troška, potreba za kontekstom i pouzdanosti strukturiranog izlaza. Ne bi trebao biti skok u nepoznato.

Korištenje alata mjesto je gdje agenti postaju stvarni

Alati pretvaraju agenta iz generatora teksta u sudionika radnog procesa. Oni također uvode većinu operativnog rizika. Sučelje alata trebalo bi biti uže od temeljnog sustava kad god je to moguće. Umjesto odobravanja širokog pristupa bazi podataka, izložite namjenski izrađenu operaciju kao što je „pronađi kupca prema odobrenom identifikatoru” ili „izradi nacrt daljnjeg postupanja”.

Dobri alati imaju jasne sheme, predvidljive odgovore i izričita stanja pogrešaka. Oni otežavaju zahtijevanje nevaljanih stanja. Ako radnja može imati vanjske posljedice, najprije je oblikujte kao prijedlog, a zatim zahtijevajte zaseban korak odobrenja ili izvršenja.

{
  "action": "create_draft_issue",
  "title": "Possible regression in export flow",
  "labels": ["triage"],
  "requires_human_approval": true
}

Strukturirane podatke lakše je provjeriti od slobodno oblikovanog teksta. Provjerite obavezna polja, dopuštene vrijednosti, identifikatore i dozvole prije izvršavanja vanjske radnje. Model može predložiti radnju, ali konvencionalni kod trebao bi provoditi pravila.

Projektirajte za neuspjeh prije slavljenja uspjeha

Agenti će naići na nedostajući kontekst, dvosmislene zahtjeve, istekle vjerodajnice, ograničenja brzine, privremene kvarove usluga i izlaze modela koji ne odgovaraju očekivanom formatu. Produkcijski sustav mora ih tretirati kao uobičajena radna stanja, a ne kao iznenađujuće rubne slučajeve.

Ponovna pokušavanja zahtijevaju disciplinu. Ponovno pokušavanje zahtjeva za čitanje nakon privremenog kvara može biti sigurno. Ponovno pokušavanje plaćanja, poruke, implementacije ili ažuriranja zapisa bez strategije idempotentnosti može duplicirati radnju. Odvojite planiranje od izvršenja, zabilježite identifikator operacije i učinite pozive alata sigurnima za ponavljanje tamo gdje to odredišni sustav podržava.

Ograničenja vremena i troškova jednako su važna. Postavite granice za iteracije petlje, pozive alata, proteklo vrijeme i opseg dohvaćenih informacija. Kada agent dosegne ograničenje, trebao bi vratiti sažet status koji opisuje što je dovršio, što ostaje neizvjesno i o čemu bi čovjek trebao sljedeće odlučiti.

Najpouzdaniji agent nije onaj koji uvijek djeluje. To je onaj koji zna kada su njegovi dokazi nedostatni.

Zadržite ljude u pravom dijelu petlje

Ljudski pregled nije znak da je agent podbacio. To je namjerna kontrolna točka za odluke koje uključuju novac, obveze prema kupcima, sigurnost, zakonske obveze, promjene u produkciji ili nejasnu namjeru. Cilj je ukloniti pripremni rad kako bi ljudi mogli usmjeriti pozornost na odluke koje ih doista trebaju.

Zasloni za odobravanje trebali bi prikazati predloženu radnju, popratni kontekst, namjeravani učinak i svaku nesigurnost. Pregledavatelj bi trebao moći odobriti, urediti, odbiti ili zatražiti daljnju istragu bez rekonstruiranja cijelog lanca zaključivanja iz neobrađenih zapisnika.

S vremenom ponavljane izmjene pregledavatelja postaju vrijedni podaci za evaluaciju. Otkrivaju gdje su upute nejasne, alatima nedostaje kontekst, pravila treba kodificirati ili bi zadatak trebao ostati u ljudskoj nadležnosti.

Mjerite radni proces, ne samo model

Agent može zvučati uvjerljivo, a pritom davati loše ishode. Procijenite cijeli put: je li dohvatio prave informacije, odabrao odgovarajući alat, slijedio pravila, izradio upotrebljiv artefakt i stao u pravo vrijeme. Upotrebljavajte reprezentativne primjere koji uključuju uobičajene slučajeve, dvosmislene ulaze, kvarove te zlonamjerne ili nevažne upute ugrađene u dohvaćeni sadržaj.

Operativno praćenje trebalo bi zabilježiti dovoljno pojedinosti za otklanjanje poteškoća uz poštovanje privatnosti i kontrola pristupa. Pratite kvarove po kategorijama, stope odobrenja, obrasce ispravaka, pogreške alata i kvalitetu dovršavanja. Promjene upita, alata, modela i pravila pregledavajte kao druge produkcijske promjene: testirajte ih prema poznatim slučajevima, pažljivo objavite i zadržite mogućnost vraćanja na prethodno stanje.

Produkcijska orkestracija je disciplina razvoja proizvoda

Trajna vrijednost AI agenata proizići će manje iz dramatične autonomije, a više iz pouzdane orkestracije. Dobro osmišljen agent omogućuje napredovanje rada uz jasne dozvole, vidljivo stanje, reverzibilne radnje i elegantnu predaju kada nesigurnost poraste.

Započnite malim koracima, učinite svaku radnju provjerljivom i steknite šire ovlasti na temelju dokaza. Pitanje nije može li agent proizvesti impresivan odgovor u demonstraciji. Pitanje je može li stvarni radni proces učiniti mirnijim, bržim i pouzdanijim kada je svijet neuredan. To je put od upita do produkcije.