Većina softverskih timova pristupa umjetnoj inteligenciji kao funkcionalnosti koju treba naknadno dodati: dodajte okvir za chat, sažmite dokument, sastavite e-poruku, klasificirajte tiket. To mogu biti korisna poboljšanja. No dugotrajnija prilika je drukčija: izgraditi softver koji sustave umjetne inteligencije uči kako se vaš posao doista odvija.

To znači tretirati aplikaciju ne samo kao korisnika izlaza modela, nego i kao izvor strukturiranog konteksta, povratnih informacija, ograničenja i ishoda. Koristan sustav umjetne inteligencije ne postaje pouzdan zato što mu je upit rječit. Postaje pouzdan zato što mu okolni softver daje jasan zadatak, prave dokaze, sigurne granice i način da nauči kako izgleda „dobro“.

Umjetna inteligencija treba radno okruženje, a ne samo upit

Jezični model može stvarati uvjerljiv tekst, kôd, planove i klasifikacije. Nije sam po sebi svjestan vaših kupaca, pravila proizvoda, trenutačnog inventara, sigurnosnih pravila ni definicije dovršenog zadatka. Ti detalji žive u sustavima, radnim tijekovima i ljudima.

Kada funkcionalnost umjetne inteligencije zakaže, uzrok se često pripisuje modelu. U praksi kvar može biti arhitektonski: od modela se tražilo da odlučuje bez dovoljno konteksta, dopušteno mu je djelovati bez provjere ili se procjenjivao samo prema tome je li njegov odgovor zvučao uvjerljivo.

Softver koji uči umjetnu inteligenciju čini radno okruženje eksplicitnim. Pruža:

• Relevantne informacije uzimajući u obzir dozvole, umjesto nediferenciranog istovara podataka.
• Alate uskih, razumljivih mogućnosti.
• Jasna pravila o tome što sustav smije preporučiti, promijeniti ili eskalirati.
• Signale povratnih informacija povezane sa stvarnim ishodima.
• Mogućnost praćenja ulaza, odluka, poziva alata, neuspjeha i ispravaka.

To je manje atraktivno od demonstriranja pametnog upita, ali upravo se tu grade pouzdani sustavi.

Pretvorite prešutni radni tijek u upotrebljiv kontekst

Iskusni ljudi često donose odluke koristeći znanje koje se rijetko zapisuje. Stručnjak za podršku zna koji su podaci o računu važni prije promjene pretplate. Voditelj izdanja prepoznaje da je neuspješna provjera bezopasna u jednoj grani, a blokirajuća u drugoj. Financijski recenzent zna da račun treba propitati kada se nekoliko sitnih pojedinosti ne podudara.

Umjetna inteligencija ne može sve to sigurno zaključiti iz kratkog zahtjeva. Vaš softver mora izložiti kontekst odluke u obliku koji model može koristiti.

Razmotrite agenta koji pomaže osoblju za podršku rješavati pitanja naplate. Slab dizajn šalje poruku kupca modelu i traži odgovor. Snažniji dizajn prikuplja plan računa, status računa, nedavne događaje plaćanja, primjenjiva pravila povrata novca, povijest razgovora i dozvole agenta za podršku. Zatim od modela traži strukturiranu preporuku, a ne nepovratnu radnju.

{
  "recommended_action": "request_review",
  "reason": "The charge is settled, but the requested refund exceeds the self-service window.",
  "customer_reply": "I can help get this reviewed by our billing team.",
  "required_evidence": ["invoice_4812", "refund_policy_v3"]
}

Aplikacija može provjeriti polja, prikazati dokaze i zahtijevati ljudsko odobrenje prije početka bilo kojeg radnog tijeka povezanog s povratom novca. Model doprinosi prosudbom i komunikacijom; okolni sustav ostaje odgovoran za ovlasti i ispravnost.

Dizajnirajte alate kao ugovore

Upotreba alata mjesto je na kojem asistent umjetne inteligencije postaje operativan. Može pretraživati zapise, stvarati zadatke, ažurirati status, pokrenuti radni tijek ili dohvatiti dokumentaciju. Tu moć treba dizajnirati s jednakom pažnjom kao i bilo koji javni API.

Svaki alat treba imati usku svrhu, eksplicitne ulazne tipove, predvidljiv izlaz i autorizaciju provedenu izvan modela. Izbjegavajte širok alat naziva run_any_query ili update_record kada manji alat poput get_order_summary ili create_refund_review sigurnije izražava namjeravani radni tijek.

Mali alati poboljšavaju više od sigurnosti. Oni olakšavaju testiranje i otklanjanje pogrešaka u ponašanju agenta. Ako asistent odabere pogrešnu radnju, možete provjeriti je li odabrao pogrešan alat, proslijedio loše argumente, nije imao informacije ili je pogrešno razumio zadatak. To je mnogo teže kada je svaka radnja skrivena iza sučelja opće namjene.

Odvojite prijedlog od izvršenja

Ne zaslužuje svaka radnja isti put odobravanja. Sustavu može biti dopušteno automatski sastaviti odgovor, dok promjena prava pristupa ili slanje novca zahtijeva potvrdu. Namjerno uspostavite ove razine:

• Informiraj: sažmi, objasni, dohvati i sastavi nacrt.
• Preporuči: predloži plan ili promjenu koju netko treba odobriti.
• Izvrši uz provjere: izvrši niskorizične, povratne radnje nakon determinističke provjere.
• Eskaliraj: predaj odluke koje uključuju dvosmislenost, iznimke od pravila ili značajan utjecaj.

Ovaj model štiti korisnike uz zadržavanje zamaha. Također uči sustav umjetne inteligencije kakva je vrsta pomoći primjerena u svakoj situaciji.

Povratne informacije moraju odražavati stvarni posao

Kontrole palac gore i palac dolje korisne su, ali nisu dovoljne. Korisnik može odobriti tečan odgovor koji je ipak doveo do lošeg operativnog ishoda. Suprotno tome, oprezan odgovor može biti manje elegantan, ali ispravno spriječiti skupu pogrešku.

Definirajte uspjeh jezikom radnog tijeka. Za asistenta za programiranje to može uključivati prolazi li predložena promjena testove, uklapa li se u konvencije repozitorija i prihvaća li se nakon pregleda. Za radni tijek obrade dokumenata to može uključivati točnost polja, stope iznimaka i koliko često čovjek ispravlja ekstrakciju. Za internog asistenta za znanje to može uključivati kvalitetu citata, stopu rješavanja i učestalost neutemeljenih tvrdnji.

Zabilježite ispravke ondje gdje ljudi već rade. Ako recenzent uredi klasifikaciju koju je generirala umjetna inteligencija, zabilježite konačnu klasifikaciju i razlog kada je to praktično. Ako se odbije agentov predloženi plan, sačuvajte relevantno stanje i kategoriju odbijanja. Ti primjeri postaju bolja osnova za evaluaciju, doradu upita, poboljšanja dohvaćanja i, naposljetku, prilagodbu modela kada je opravdana.

Nemojte pretpostaviti da je automatski bolje prikupljati više podataka. Zadržite samo ono što je nužno, poštujte granice pristupa i učinite osjetljive informacije vidljivima samo sustavima i ljudima koji su ovlašteni koristiti ih.

Ugradite evaluaciju u isporuku

Ponašanje umjetne inteligencije mijenja se kada se promijene upiti, alati, modeli, izvori dohvaćanja i pravila. Tretirajte te promjene kao produkcijske promjene.

Izradite kompaktan skup za evaluaciju od reprezentativnih slučajeva: uobičajeni zahtjevi, teški rubni slučajevi, nepotpune informacije, proturječni zapisi, neprijateljske upute i scenariji koji bi trebali rezultirati eskalacijom. Za svaki slučaj definirajte kako izgleda prihvatljiv ishod. Ponekad to znači točnu vrijednost polja. Često znači rubriku: upotrijebite odobrene izvore, izbjegnite neutemeljene tvrdnje, odaberite ovlašteni alat ili zatražite pojašnjenje.

Zatim testirajte sustav od početka do kraja. Model može proizvesti izvrstan plan, a ipak ne uspjeti zato što shema alata odbija argument. Sloj za dohvaćanje može vratiti točne dokumente koje model pogrešno primjenjuje jer dokumentima nedostaju datumi ili metapodaci o vlasništvu. Pouzdanost proizlazi iz potpunog kruga, a ne iz kvalitete modela izolirano.

Trajna prednost je bolji softver

Izgradnja softvera koji uči umjetnu inteligenciju ima produktivnu nuspojavu: prisiljava timove da razjasne vlastite procese. Identificirate nejasna pravila, duplicirane podatke, nejasno vlasništvo, nesigurne prečace i odluke koje funkcioniraju samo zato što nekoliko stručnjaka pamti skrivena pravila.

Taj se rad isplati čak i kada nijedan model nije uključen. Isti strukturirani radni tijekovi, dobro definirani alati, revizijski tragovi i signali kvalitete poboljšavaju automatizaciju, uvođenje novih zaposlenika i operativnu otpornost.

Najbolji sustavi umjetne inteligencije neće biti oni koji djeluju najljudskije. Bit će to oni koji ljudsku stručnost čine razumljivom, čuvaju odgovornost i postaju korisniji dok ih stvarni rad uči što je važno. Gradite za taj krug i umjetna inteligencija prestaje biti novost nanesena preko vašeg proizvoda. Postaje sposoban sudionik u sustavu osmišljenom za učenje.