Većini timova ne treba još jedna impresivna demonstracija umjetne inteligencije. Treba im softver koji može primijetiti zahtjev, prikupiti pravi kontekst, poduzeti ograničenu radnju i ostaviti pouzdan zapis o tome što se dogodilo.

To je razlika između isječka i integriranog AI agenta. Isječak može sažeti prijavu ili sastaviti upit u prozoru za chat. Agent postaje koristan kada je povezan sa stvarnim radnim tijekovima: sustavima za praćenje problema, repozitorijima, dokumentacijom, redovima čekanja, sustavima za implementaciju i putovima odobravanja. Model je važan, ali je samo jedna komponenta sustava.

Razmišljajte o radnim tijekovima, a ne o promptovima

Prompt je ulaz. Automatizacija je proces s okidačem, stanjem, alatima, odlukama, postupanjem u slučaju neuspjeha i ishodom. Tretiranje agenta kao „pametnog prompta s pristupom API-ju” obično stvara krhke sustave koji dobro rade u demonstraciji idealnog scenarija, a loše pod uobičajenim operativnim pritiskom.

Započnite s uskim radnim tijekom koji već ima jasne ulaze i mjerljivu definiciju dovršenosti. Primjerice, agent može razvrstavati pristigle prijave grešaka: utvrditi nedostajuće pojedinosti za reprodukciju, potražiti vjerojatne duplikate, označiti problem i sastaviti odgovor koji održavatelj treba pregledati.

To je bolji prvi slučaj upotrebe od „upravljaj našim inženjerskim zaostatkom”. Ograničava alate dostupne agentu, čini pregled jednostavnim i timu daje konkretan način da procijeni pomaže li automatizacija.

Opišite posao kao ugovor

Prije odabira modela ili okvira, zapišite operativni ugovor agenta. To je vrjednije od pokušaja osmišljavanja savršenog sistemskog prompta.

• Okidač: Koji događaj pokreće rad?
• Ulazi: Koja polja, dokumente i prethodne događaje smije koristiti?
• Dopuštene radnje: Što može čitati, stvoriti, izmijeniti ili poslati?
• Uvjeti zaustavljanja: Kada mora zatražiti čovjeka, pokušati ponovno ili sigurno ne uspjeti?
• Izlaz: Koji strukturirani rezultat dokazuje da je posao dovršen?
• Vlasnik: Tko prima iznimke i ostaje odgovoran za rezultat?

Ako su ta pitanja nejasna, radni tijek nije spreman za autonomno izvršavanje. Umjetna inteligencija neće ukloniti nejasnoću; samo će je izvršavati nedosljedno.

Dajte agentima alate s granicama

Korisni agenti trebaju pristup sustavima evidencije, ali širok pristup rijetko je potreban. Agent za razvrstavanje podrške možda treba pročitati poruku korisnika, pretražiti odobreni sadržaj baze znanja, izraditi nacrt i priložiti bilješku o pouzdanosti. Ne treba mu neograničen pristup bazi podataka ni dopuštenje za izdavanje povrata novca.

Dizajnirajte alate kao male, tipizirane operacije. Umjesto izlaganja pokretača naredbi opće namjene, pružite funkcije poput find_duplicate_issues, create_issue_draft ili request_review. Svaki alat trebao bi provjeriti svoje ulaze, provoditi autorizaciju i vratiti podatke koje agent može pouzdano koristiti.

{
  "issue_id": "1234",
  "proposed_labels": ["bug", "needs-reproduction"],
  "possible_duplicates": ["1198"],
  "draft_reply": "Could you share the version and steps to reproduce?",
  "requires_human_review": true
}

Strukturirani izlaz važan je zato što drugi softver mora upotrijebiti rezultat. Prozni tekst slobodnog oblika odličan je za ljudskog čitatelja; loše je sučelje za usmjeravanje, provjeru valjanosti i zapisnike nadzora. Zatražite od modela da proizvede rezultat koji odgovara shemi, a zatim ga provjerite prije nego što dođe do bilo kakvog učinka.

Odvojite zaključivanje od izvršavanja

Jedan od najzdravijih obrazaca u dizajnu agenata jest odvajanje predložene radnje od same radnje. Model može analizirati kontekst i preporučiti sljedeći korak, ali deterministički aplikacijski kôd trebao bi provjeriti dopuštenja, obavezna polja, pravila politika i trenutačno stanje prije unošenja promjene.

Za radnje niskog rizika sustav ih može izvršiti automatski nakon provjere. Za značajne radnje trebao bi izraditi prijedlog koji se može pregledati. To nije ustupak koji sustav čini manje sposobnim. Tako automatizaciju činite upotrebljivom u okruženjima u kojima pogreške imaju stvarne troškove.

Razmotrite pomoćnika za upravljanje izdanjima. Može prikupiti spojene promjene, prepoznati nedostajuće napomene o izdanju, pripremiti pull request za povećanje verzije i sažeti rizike. Čovjek može odobriti pull request i pokrenuti implementaciju kroz postojeći proces izdanja. Agent ubrzava rad bez toga da postane neodgovorni operater produkcijskog sustava.

Putove neuspjeha učinite prvoklasnima

Produkcijski radni tijekovi puni su uvjeta koje demonstracija izbjegava: API-ji prekorače vrijeme, dokumenti su u sukobu, dopuštenja se mijenjaju, podaci su nepotpuni i korisnici podnose zahtjeve izvan predviđenog opsega. Integraciju agenta treba dizajnirati oko tih stvarnosti.

• Koristite vremenska ograničenja i ograničene ponovne pokušaje za pozive alata.
• Operacije pisanja učinite idempotentnima gdje je to moguće, kako ponovni pokušaj ne bi stvorio dvostruke zapise.
• Ustrajno pohranjujte stanje radnog tijeka kako bi se prekinuti zadatak mogao nastaviti ili istražiti.
• Bilježite ulaze i izlaze alata, odluke i informacije o verziji modela u revizijski trag koji poštuje zahtjeve privatnosti.
• Nejasne slučajeve, slučajeve s niskom pouzdanošću ili one osjetljive na politike usmjerite u imenovani red za ljude.

Također razlikujte neuspjeh modela od neuspjeha radnog tijeka. Neispravno oblikovan odgovor možda se može oporaviti provjerom sheme i ograničenim ponovnim pokušajem. Nedostajući autorizacijski token ili izmijenjeni ugovor nizvodnog API-ja zahtijevaju drugačiji odgovor: jasno ne uspijte, upozorite vlasnika i izbjegavajte nagađanje.

Procijenite sustav tamo gdje stvarno radi

Mjerila modela mogu pomoći pri odabiru, ali ne dokazuju da agent odgovara vašem radnom tijeku. Procijenite potpuni krug: dohvaćanje konteksta, odabir alata, provjeru izlaza, latenciju, opterećenje pregleda i kvalitetu konačnog poslovnog ishoda.

Izradite reprezentativan skup testova iz sanitiziranih primjera stvarnog rada. Uključite uobičajene slučajeve, nepotpune ulaze, sukobljene upute, zastarjele dokumente i zahtjeve koje agent mora odbiti. Definirajte kako izgleda dobro prije pregleda rezultata. Za agenta za razvrstavanje to može uključivati ispravno usmjeravanje, izostanak neovlaštenih promjena, korisne nacrte i nisku stopu nepotrebnih eskalacija.

Zatim uvodite postupno. Započnite u načinu promatranja, u kojem agent daje preporuke, ali ne poduzima radnje. Usporedite njegov izlaz s ljudskim odlukama. Zatim mu dopustite obavljanje reverzibilnih radnji ili radnji s malim utjecajem. Proširite ovlasti samo kada praćenje pokaže da je sustav pouzdan za tu određenu kategoriju rada.

Integracija mijenja rad, a ne samo sučelje

Najvrjedniji agenti ne zamjenjuju pažljive stručnjake. Uklanjaju repetitivni koordinacijski rad, ranije otkrivaju nedostajuće informacije i pretvaraju raspršeni kontekst u provediv sljedeći korak. To mijenja na što ljudi troše vrijeme: prosudbu, rješavanje iznimaka, odluke o proizvodu i poboljšavanje samog radnog tijeka.

Trajno pitanje nije: „Gdje možemo dodati gumb za umjetnu inteligenciju?” Nego: „Koja se ponavljajuća odluka može donijeti brže i sigurnije kada model radi unutar dobro osmišljenog sustava?” Odgovorite na to pitanje usko, postavite jasne granice agentu i izgradite okolni softver s jednakom pažnjom kakvu biste primijenili na bilo koju produkcijsku automatizaciju.

Tako AI agenti nadilaze isječke: ne kroz teatralnu autonomiju, nego kroz pouzdane sustave koji zaslužuju pravo obavljati koristan rad.