Većina AI projekata ne propada zato što je model slab. Propadaju zato što je sustav koji ih okružuje nejasan: nitko nije definirao odluku koju treba poboljšati, nedostaje predaja čovjeku, podaci su nepouzdani ili se uspjeh mjeri dojmljivim demoom umjesto poslovnim ishodom.

Ta je razlika važna. Pisanje prompta, pozivanje modela ili dodavanje sučelja za razgovor rijetko je najteži dio. Pravi je posao arhitektura: oblikovanje pouzdanog puta od ulaza, kroz zaključivanje i alate, do radnje koja je sigurna, vidljiva i korisna.

Započnite ishodom, a ne modelom

Korisni AI sustav počinje konkretnom promjenom u načinu obavljanja posla. „Upotrijebite AI za korisničku podršku” inicijativa je. „Smanjite vrijeme potrebno za klasifikaciju i usmjeravanje dobro shvaćenih zahtjeva korisničke podrške, uz zadržavanje eskalacije za nesigurne slučajeve” cilj je sustava.

Drugo uokvirivanje stvara projektna ograničenja. Timu govori što automatizirati, što prepustiti ljudima, koji su podaci potrebni i kako izgleda neuspjeh. Također odabir modela zadržava na njegovu pravom mjestu: kao provedbenu odluku, a ne strategiju.

Prije odabira okvira za agente ili pružatelja usluge definirajte četiri stvari:

• Zadatak: Koji se ponavljajući zadatak prosudbe, pretraživanja, sastavljanja nacrta ili koordinacije poboljšava?
• Posljedica: Što se događa ako je sustav pogrešan, kasni ili nije dostupan?
• Granica: Koje radnje može poduzeti samostalno, a koje zahtijevaju odobrenje?
• Dokaz: Kako će organizacija znati da sustav pomaže?

Na primjer, interni pomoćnik za nabavu mogao bi sažimati zahtjeve, prepoznavati informacije koje nedostaju i pripremati nacrt usporedbe. Ne bi smio neprimjetno odobravati potrošnju. Izlaz je vrijedan upravo zato što skraćuje pripremu uz zadržavanje kontrola primjerenih odluci.

Promatrajte AI kao jednu komponentu u radnom tijeku

Jezični modeli dobri su u tumačenju neurednog jezika, sintetiziranju informacija i izradi strukturiranih nacrta. Nisu baze podataka, mehanizmi za provedbu pravila, transakcijski sustavi ni nepogrešivi izvori istine. Dobri dizajni svaku odgovornost dodjeljuju komponenti koja joj najbolje odgovara.

Praktičan radni tijek često izgleda ovako:

1. Primite događaj, dokument ili korisnički zahtjev.
2. Provjerite identitet, dozvole i osnovne zahtjeve za unos konvencionalnim softverom.
3. Dohvatite relevantan, odobren kontekst iz pouzdanih sustava.
4. Zatražite od modela da klasificira, izvuče, sažme ili predloži radnju u ograničenom formatu.
5. Provjerite rezultat determinističkim pravilima.
6. Usmjerite ga na automatizaciju, ljudski pregled ili sigurnu zamjensku opciju.
7. Zabilježite ishod i povratne informacije za evaluaciju.

To je manje glamurozno od autonomnog agenta koji naizgled radi sve, ali je daleko korisnije. Deterministička logika trebala bi provoditi dozvole računa, pragove potrošnje, obavezna polja i poslovna pravila. Model bi trebao obrađivati nejasnoće oko tih pravila: tumačiti zahtjev, pronalaziti vjerojatan kontekst ili sastavljati jasan nacrt.

Ograničite izlaze rano

Slobodno oblikovana proza ugodna je za čitanje osobi, ali softver joj teško može vjerovati. Ako nizvodni sustav treba kategoriju, prioritet i procjenu pouzdanosti, izričito zatražite ta polja i provjerite ih prije djelovanja.

{
  "category": "billing | access | technical | other",
  "priority": "low | normal | high",
  "needs_human_review": true,
  "reason": "short explanation"
}

Shema ne čini model točnim. Omogućuje lakše otkrivanje, testiranje, bilježenje i obradu pogrešaka. Ako je odgovor nepotpun ili nevaljan, radni tijek može ponovno pokušati s užom uputom, poslati stavku u red čekanja ili zatražiti pojašnjenje od korisnika. Nikada ne bi smio nagađanjem dovesti do nepovratne radnje.

Dizajnirajte agente oko ograničenih ovlasti

Agent je koristan kada može birati između koraka u radnom tijeku: pretraživati bazu znanja, pregledavati zapis, zatražiti informacije koje nedostaju ili pripremiti odgovor. Postaje rizičan kada se „birati između koraka” neprimjetno pretvori u „učiniti bilo što što se čini korisnim”.

Agentima dodijelite usku misiju, mali skup alata i izričite uvjete za zaustavljanje. Agent za trijažu korisničke podrške može čitati detalje zahtjeva, pretraživati odobreni sadržaj pomoći i izraditi nacrt odgovora. Ne bi smio pribavljati proizvoljne zapise o korisnicima, mijenjati vlasništvo nad računom ni izdavati povrate novca, osim ako su te radnje namjerno odobrene i zaštićene.

Svaki poziv alata trebao bi obuhvaćati iste brige kao i svaka druga produkcijska integracija: autentikaciju, autorizaciju, provjeru unosa, vremenska ograničenja, ograničenja učestalosti, idempotentnost gdje je primjenjiva i revizijsko bilježenje. Argumente alata koje generira model tretirajte kao nepouzdan unos. Model može pogrešno razumjeti zahtjev, dohvatiti obmanjujući kontekst ili biti pod utjecajem sadržaja na koji naiđe.

Ljudski pregled nije priznanje da sustav nije dovršen. To je dizajnerski izbor. Pregled je posebno vrijedan za odluke s velikim utjecajem, nove radne tijekove, rezultate niske pouzdanosti i iznimke koje otkrivaju gdje automatizaciju treba poboljšati.

Učinite dohvaćanje sposobnošću proizvoda, a ne spremištem dokumenata

Mnoge AI aplikacije ovise o pružanju relevantnog internog znanja u trenutku upotrebe. Kvaliteta tog konteksta često je važnija od domišljatog sročavanja prompta. Ako su pravila zastarjela, dokumenti duplicirani ili su kontrole pristupa zanemarene, odgovor može zvučati uglađeno, a ipak biti pogrešan ili neprimjeren.

Izgradite dohvaćanje oko vlasništva i životnog ciklusa. Utvrdite mjerodavne izvore, sačuvajte dozvole, osvježavajte sadržaj kada se pravila promijene i učinite dohvaćeni materijal vidljivim kada ga korisnici trebaju provjeriti. Sažet odgovor s poveznicama na mjerodavni materijal pouzdaniji je od samouvjerenog odgovora bez sljedive osnove.

Također pomaže odvojiti dohvaćanje znanja od uputa. Dokument može biti koristan referentni materijal, ali tekst unutar njega ne bi smio redefinirati pravila sustava ni proširivati njegove dozvole. Ta jednostavna granica smanjuje rizik da nepouzdan sadržaj odvrati agenta od njegove namijenjene zadaće.

Evaluirajte cijeli sustav

Samo mjerilo uspješnosti modela ne može vam reći stvara li AI radni tijek vrijednost. Evaluirajte cijeli put: kvalitetu dohvaćanja, upotrebu alata, valjanost izlaza, latenciju, stopu ljudskog pregleda, operativne pogreške i konačni poslovni rezultat.

Prije uvođenja izradite malen, ali realističan skup za evaluaciju. Uključite uobičajene zahtjeve, dvosmislene slučajeve, nepotpune unose, suparnički ili obmanjujući sadržaj i rubne slučajeve s velikim posljedicama. Za svaki definirajte što je dobar rezultat. Zatim sustav pokrećite opetovano dok se mijenjaju prompti, modeli, izvori podataka i alati.

Povratne informacije iz produkcije upotpunjuju sliku. Pregledajte gdje ljudi poništavaju preporuke, gdje korisnici napuštaju radni tijek i gdje se sustav vraća na zamjensku opciju. Ti slučajevi nisu samo nedostaci; oni su karta za poboljšanje procesa, doradu korisničkog sučelja ili odluku da zadatak treba ostati vođen ljudima.

Usvajanje je sustavni problem

Najbolja AI sposobnost uzaludna je ako dolazi kao još jedan nepovezan zaslon ili traži od ljudi da zaobilaze svoj ustaljeni proces. Ugradite je tamo gdje se posao već odvija, pokažite koji je kontekst upotrijebila i učinite ispravljanje lakšim od započinjanja ispočetka.

Timovima su potrebna i jasna operativna očekivanja. Tko je vlasnik promptova i skupa za evaluaciju? Tko odobrava nove alate ili radnje? Tko reagira kada se izvorni sustav promijeni? Tko može zaustaviti automatizaciju? Ta pitanja zvuče operativno jer to i jesu. Odgovorno usvajanje održava se vlasništvom, a ne najavom lansiranja.

Gradite za učinak, a ne za spektakl

Najtrajniji AI sustavi rijetko nalikuju znanstvenoj fantastici. Uklanjaju trenje iz stvarnog rada: pretvaraju raspršene informacije u koristan sažetak, sastavljaju prvi odgovor, pronalaze pravo pravilo, otkrivaju nepotpune zahtjeve ili pomažu stručnjaku da se usredotoči na iznimke koje zahtijevaju prosudbu.

To je prilika izvan koda. AI mijenja rad na softveru ne tako što uklanja potrebu za inženjerstvom, već povećava vrijednost promišljenog dizajna sustava. Timovi koji pobjeđuju neće biti oni koji najbrže dodaju model. Bit će to oni koji inteligenciju povezuju s jasnim ishodima, pouzdanim podacima, ograničenim radnjama i odgovornim ljudskim odlukama.