Većina softvera radi točno ono za što je programirana. Agenti umjetne inteligencije uvode zanimljiviju mogućnost: softver koji može promatrati cilj, odabrati sljedeći korak, koristiti alate, provjeriti rezultat i prilagoditi se kada prvi pokušaj ne uspije.

To agente ne čini čarobnim, autonomnim zaposlenicima. Čini ih novom vrstom softverske komponente—onom koja je korisna kada fiksni radni tijek postane previše krhak, preskup za održavanje ili previše ovisan o ljudskoj prosudbi. Praktično pitanje nije može li agent „misliti”. Pitanje je može li agent pouzdano poboljšati stvarni proces pritom ostajući unutar jasnih tehničkih i poslovnih granica.

Od izvršavanja do vođenog učenja

Konvencionalni program slijedi unaprijed definirani put. Na temelju ulaza primjenjuje pravila i proizvodi izlaz. To je upravo ono što želite za plaćanja, provjere autorizacije, migracije podataka i druge zadatke u kojima je predvidljivost važnija od fleksibilnosti.

Agent je prikladniji za rad s nejasnoćama. Može široki cilj pretvoriti u manje zadatke, odabrati među odobrenim alatima, protumačiti rezultate alata i odlučiti ima li dovoljno dokaza za nastavak. U mnogim sustavima „učenje” ne bi trebalo značiti mijenjanje težina modela u produkciji. Ono znači učenje iz trenutačnog konteksta: neuspjelog testa, nepoznate strukture repozitorija, pojašnjenja korisnika ili upozorenja nadzornog sustava.

Razmotrite sustav za trijažu korisničke podrške. Sustav temeljen na pravilima može usmjeravati tikete na temelju ključnih riječi. Agent može pročitati tiket, putem ograničenog alata pregledati relevantne metapodatke računa, utvrditi koje informacije nedostaju, sastaviti odgovor i eskalirati slučajeve koji nadilaze njegovu razinu pouzdanosti ili ovlasti. Agent ne zamjenjuje proces podrške; čini proces osjetljivijim na varijacije.

Agent je sustav, a ne upit

Čest način neuspjeha jest tretirati AI agenta kao dugačak upit povezan s moćnim vjerodajnicama. Takav pristup može izgledati impresivno u demonstraciji, a postati rizičan u produkciji. Korisni agenti su projektirani sustavi s nekoliko namjerno osmišljenih dijelova.

• Ograničen cilj: precizno definirajte ishod kako bi ga bilo moguće procijeniti.
• Relevantan kontekst: pružite aktualne, autorizirane informacije umjesto da očekujete od modela da sve zaključi.
• Alati s uskim ovlastima: izložite samo radnje potrebne za zadatak.
• Stanje i sljedivost: sačuvajte što je agent pokušao, što je opazio i zašto je odabrao sljedeću radnju.
• Evaluacija i eskalacija: provjerite važne rezultate i neizvjesne odluke ili odluke velikog utjecaja prepustite ljudima.

Korisni mentalni model jest kontrolirana petlja: planiraj, djeluj, promatraj, procijeni, a zatim nastavi, pokušaj ponovno ili stani. Model pridonosi prosudbom unutar te petlje. Okolni softver pruža zaštitne ograde.

Zadržite malu površinu djelovanja

Započnite s alatima samo za čitanje kad god je to moguće. Agent koji može pretraživati dokumentaciju, pregledati tiket, upitati izvještajnu bazu podataka ili pokrenuti paket testova već može stvoriti znatnu vrijednost. Operacije pisanja treba uvoditi pojedinačno i uz izričita ograničenja.

Na primjer, pomoćnik za implementaciju ne bi trebao dobiti neograničen pristup ljusci. Može mu se dopustiti dohvaćanje statusa implementacije, usporedba verzije s odobrenim izdanjem i stvaranje zahtjeva za promjenu. Ako mu kasnije bude trebalo pokrenuti implementaciju, zahtijevajte izričit korak odobrenja i proslijedite nepromjenjivi identifikator izdanja umjesto da od agenta tražite da sastavi naredbu.

Goal: summarize a failed deployment and propose next steps

Allowed tools:
- get_deployment_status(deployment_id)
- get_build_logs(build_id)
- search_runbook(query)
- create_incident_draft(summary, evidence)

Not allowed:
- deploy()
- rollback()
- modify_production_configuration()

Takav dizajn ne smanjuje inteligenciju. Pretvara inteligenciju u pouzdanog sudionika većeg operativnog procesa.

Projektirajte za neuspjeh prije nego što projektirate za autonomiju

Modeli mogu pogrešno razumjeti upute, proizvesti uvjerljiva, ali netočna objašnjenja, pozvati alate s nepotpunim parametrima ili se zaglaviti u ponavljanju neproduktivnog pristupa. Vanjske usluge mogu isteći. Podaci mogu biti zastarjeli. Robustan dizajn agenta pretpostavlja da će se ti događaji dogoditi.

Svaki poziv alata treba definirani put neuspjeha. Odlučite što se događa ako pretraga ne vrati zapise, zahtjev bude ograničen stopom, odgovor bude dvosmislen ili nizvodni sustav nije dostupan. Ponovni pokušaj može biti primjeren za prolazne neuspjehe, ali pokušaji trebaju ograničenja i postupno produljenje razmaka. Ponavljanje iste semantičke radnje nakon pogreške autorizacije nije oporavak; to je šum.

Koristite strukturirane ulaze i izlaze alata umjesto da tražite od modela da raščlanjuje prozu kad god kontrolirate integraciju. Provjerite polja prije izvršavanja. Zabilježite rezultate alata odvojeno od narativnog odgovora modela. Ako zadatak ima trošak, sigurnosnu posljedicu ili nepovratan učinak, zahtijevajte determinističko pravilo potvrde izvan modela.

Agent također treba znati kako stati. „Ne mogu to provjeriti s dostupnim podacima” često je uspješan ishod. To je mnogo sigurnije od odgovora koji zvuči potpun, ali se temelji na nedostajućim dokazima.

Odaberite radne tijekove u kojima je prosudba usko grlo

Ne treba svaka automatizacija agenta. Ako proces ima stabilne ulaze, jasna poslovna pravila i predvidljive iznimke, konvencionalni kod obično je jeftiniji za rad i lakše ga je testirati. Agenti opravdavaju svoju složenost ondje gdje ljudi trenutačno troše vrijeme tumačeći nestrukturirane informacije i donoseći mnoge male odluke.

Dobri početni kandidati često uključuju:

• Pretvaranje bilješki o incidentima, zapisnika i priručnika za rad u nacrt istrage povezan s dokazima.
• Izdvajanje zahtjeva iz dokumenata i utvrđivanje neodgovorenih pitanja prije početka implementacije.
• Pripremu sažetka pregleda koda koji usmjerava recenzente na vjerojatna područja rizika, bez samostalnog odobravanja promjena.
• Klasificiranje pristiglih zahtjeva, prikupljanje nedostajućeg konteksta i usmjeravanje prema odgovarajućem timu.
• Pomoć analitičarima pri istraživanju internog znanja uz navođenje preuzetog materijala korištenog u odgovoru.

Ti slučajevi dijele korisno svojstvo: agent može olakšati rad, a da ne postane konačni autoritet. To stvara prostor za mjerenje kvalitete, usavršavanje radnog tijeka i postupnu izgradnju povjerenja.

Mjerite cijeli radni tijek

Agenta treba vrednovati kao sustav, a ne samo prema tome zvuči li njegova proza uvjerljivo. Definirajte uspjeh u operativnim terminima: je li ispravno usmjerio zahtjev, identificirao relevantne dokaze, smanjio vrijeme obrade, izbjegao zabranjene radnje ili eskalirao kada je to bilo potrebno?

Izradite reprezentativan skup za evaluaciju koji uključuje uobičajene slučajeve, nepotpune ulaze, proturječne informacije, zlonamjerne upute i neuspjehe alata. Pregledajte i ishode i tragove. Točan odgovor do kojeg se došlo nesigurnom upotrebom alata nije produkcijski uspjeh.

Vidljivost je jednako važna nakon pokretanja. Bilježite zadatak, ponuđene alate, izvršene pozive alata, rezultate provjere, predaje i konačni ishod. Zaštitite osjetljive podatke u tim zapisima i namjerno donosite odluke o zadržavanju. Bez tragova timovi ne mogu razlikovati problem modela od problema konteksta, problema integracije ili nejasnog pravila proizvoda.

Trajna promjena je arhitektonska

AI agenti neće ukloniti potrebu za pažljivim softverskim inženjerstvom. Učinit će je važnijom. Netko mora definirati granice, modelirati ovlasti, dizajnirati sučelja, evaluirati ponašanje, rješavati neuspjehe i odlučiti gdje ljudska prosudba ostaje ključna.

Najvrjedniji agenti neće biti oni kojima je dodijeljeno najviše slobode. Bit će to oni dizajnirani s najjasnijom svrhom, najboljim kontekstom i najsigurnijim putem do korisne radnje. Gradite softver koji može učiti iz situacije pred sobom—ali pobrinite se da sustav oko njega zna kada vjerovati, provjeriti, zastati i zatražiti pomoć.