Većina AI projekata ne propada zato što je model slab. Propadaju zato što sustav nema smisleno razumijevanje poslovanja kojem bi trebao pomoći.

Model opće namjene može sastaviti e-poruku, sažeti sastanak ili objasniti programski koncept. To je korisno, ali nije isto što i inteligencija koja unapređuje stvarnu organizaciju. Vrijedan AI sustav zna koji je zapis o korisniku važan, koje se pravilo primjenjuje, koja je radnja dopuštena, koliko bi trebao biti siguran i kada posao treba vratiti osobi.

Trajna prilika nije jednostavno dodavanje prozora za razgovor u aplikaciju. Riječ je o arhitekturi softvera koja povezuje jezične modele s poslovnim kontekstom, pouzdanim alatima, jasnim granicama i povratnim petljama.

Poslovni kontekst je sloj koji nedostaje

Modeli dolaze sa širokim znanjem i sposobnošću zaključivanja na temelju jezika. Ne dolaze sa znanjem o vašem katalogu proizvoda, pravilima odobravanja, uvjetima ugovora, operativnom rječniku ili trenutačnom pouzdanom izvoru podataka. Ti se detalji nalaze u bazama podataka, dokumentaciji, tiketima, API-jima i akumuliranoj prosudbi ljudi koji obavljaju taj posao.

Zato AI asistenta treba dizajnirati manje kao sveznajuće proročište, a više kao sposobnog novog kolegu. Potreban mu je pristup pravim informacijama, dovoljno uska uloga i način da zatraži pomoć kada situacija premašuje njegove ovlasti.

Razmotrite asistenta za podršku za pretplatnički proizvod. Općenit odgovor o povratima novca može zvučati uglađeno, a ipak biti pogrešan. Koristan asistent treba dohvatiti relevantni plan, status plaćanja, datum otkazivanja, pravila povrata novca i svaki postojeći slučaj podrške. Mora razlikovati objašnjavanje pravila, predlaganje radnje i stvarno izdavanje povrata novca.

To su različite sposobnosti i ne bi ih trebalo tretirati kao jedan upit.

Započnite s radnim procesom, a ne s modelom

Najpraktičnije AI prilike obično se nalaze unutar ponavljajućih radnih procesa s neurednim jezikom i strukturiranim ishodima. Tražite poslove u kojima ljudi opetovano čitaju, klasificiraju, uspoređuju, sastavljaju, usmjeravaju ili sažimaju informacije prije nego što poduzmu definiran sljedeći korak.

Dobar prvi slučaj upotrebe ima tri svojstva:

• Jasnog korisnika ili operatera: netko može reći je li rezultat pomogao.
• Ograničenu odluku: sustav ima konkretan zadatak, a ne nejasan mandat da „poboljša produktivnost”.
• Način oporavka od pogreške: pogreške se mogu pregledati, ispraviti ili zaustaviti prije nego što uzrokuju štetu.

Na primjer, interni prodajni asistent mogao bi pretvoriti bilješke s poziva za otkrivanje potreba u nacrt sažetka računa. Može izdvojiti navedene potrebe, otvorena pitanja, konkurente, donositelje odluka i zadatke za praćenje. Prodavač ostaje odgovoran za provjeru nacrta i odlučivanje o tome što ulazi u sustav za upravljanje odnosima s kupcima.

To je pouzdanije od traženja od agenta da „upravlja računom”. Prvi pristup ima vidljiv ulaz, koristan izlaz i očitu točku pregleda. Drugi skriva previše odluka iza privlačne oznake.

Dajte modelu alate s promišljenim granicama

Jezični modeli postaju operativno korisni kada mogu pozivati softverske alate: pretraživati bazu znanja, čitati narudžbu, stvoriti tiket, izračunati ponudu ili zatražiti odobrenje. No pristup alatima također je mjesto gdje koristan asistent može postati nesigurna automatizacija.

Razdvojite sposobnosti prema posljedicama. Čitanje zapisa o korisniku nije isto što i promjena adrese za naplatu. Sastavljanje poruke nije isto što i njezino slanje. Sustav bi tu razliku trebao jasno izraziti u svojoj arhitekturi i sučelju.

Upotrijebite postupni model radnji

Jednostavan je obrazac prelaziti od pomoći niskog rizika prema izvršavanju višeg rizika tek kada se svaka faza pokaže vrijednom.

1. Dohvatite relevantne informacije i navedite ih unutar korisničkog iskustva proizvoda.
2. Izradite nacrt, preporuku ili strukturirani prijedlog.
3. Za radnje s važnim posljedicama zahtijevajte ljudsko odobrenje.
4. Automatizirajte usko definirane radnje uz bilježenje, ograničenja i mogućnosti poništavanja.

Za radni proces nabave asistent bi najprije mogao sažeti zahtjev dobavljača. Zatim bi mogao pripremiti nacrt narudžbenice. Tek kasnije, kada su pravila jasna, mogao bi izrađivati narudžbenice male vrijednosti koje odgovaraju odobrenim dobavljačima i proračunima. Čak i tada, iznimke bi trebalo usmjeriti osobi.

Dizajn alata važan je jednako kao i odabir modela. Dajte prednost malim, jasnim operacijama kao što su get_order_status ili create_draft_ticket umjesto širokom alatu koji prihvaća proizvoljne upute. Provjeravajte unose na poslužitelju, provodite dozvole izvan modela i vraćajte strukturirane rezultate koje sustav može provjeriti.

Učinite dohvat znanja odgovornim

Mnogi poslovni AI sustavi trebaju dohvat: odabir relevantnog internog materijala u trenutku zahtjeva. Dohvat može smanjiti nagađanje, ali samo ako se temeljnim informacijama dobro upravlja.

Započnite utvrđivanjem autoritativnih izvora. Stranica s pravilima koja ima vlasnika i postupak pregleda pouzdanija je od starog dokumenta kopiranog u nekoliko mapa. Sačuvajte metapodatke poput verzije dokumenta, publike, datuma stupanja na snagu i dozvola za pristup. Ako se pravilo promijeni, asistent se više ne bi trebao oslanjati na njegov prethodni oblik.

Dohvatu je potrebno i ponašanje na razini proizvoda. Kada je praktično, korisnicima pokažite osnovu odgovora. Dopustite im da otvore navedeno pravilo, zapis ili dokument. Ako sustav ne može pronaći dovoljno dokaza, trebao bi to jasno reći umjesto da prazninu popunjava samouvjerenim tekstom.

Cilj nije da svaki odgovor zvuči sigurno. Cilj je da sustav bude primjereno siguran.

Procijenite cijeli sustav, a ne samo upit

Demonstracija može učiniti da gotovo svaka AI značajka izgleda obećavajuće. Kvaliteta za produkciju dolazi od testiranja realističnih ulaza, uključujući dvosmislenost, podatke koji nedostaju, proturječne zapise, zlonamjerne upute i uobičajene korisničke pogreške.

Izradite mali skup za evaluaciju od reprezentativnih, sigurno obrađenih primjera. Definirajte kako izgleda dobro za svaki zadatak: činjenična točnost, ispravan odabir alata, valjan format izlaza, odgovarajuća eskalacija i koristan ton. Pregledavajte neuspjehe po kategorijama umjesto da ih tretirate kao izdvojena iznenađenja.

Za agenta koji razvrstava dolazne zahtjeve korisne provjere mogu uključivati je li odabrao pravi red, izostavio osjetljiva polja, izbjegao neosnovana obećanja i eskalirao nesigurne slučajeve. Odgovor može biti elokventan, a ipak ne zadovoljiti svaki operativni zahtjev.

Pratite i ponašanje u produkciji. Zabilježite dovoljno konteksta za otklanjanje pogrešaka u pozivima alata, odabirima pri dohvaćanju, pogreškama i odlukama o odobravanju, uz poštovanje privatnosti i kontrola pristupa. Povratne informacije trebale bi postati red za poboljšavanje uputa, kvalitete podataka, ugovora alata ili dizajna radnog procesa. Promjena modela samo je jedno moguće rješenje.

Zadržite odgovornost ljudi za važne odluke

Odgovorno usvajanje nije zasebna vježba usklađenosti dodana na kraju. To je dizajnerski izbor vidljiv u dozvolama, tijekovima odobravanja, zapisnicima i putovima eskalacije.

Ljudi bi trebali zadržati stvarnu kontrolu nad odlukama koje uključuju novac, zapošljavanje, pravne obveze, sigurnost, podobnost kupaca ili osjetljive osobne informacije. U mnogim slučajevima najbolji AI sustav ne donosi konačnu odluku. Organizira dokaze, utvrđuje iznimke i omogućuje ljudskom donositelju odluka da bude brži i bolje informiran.

To je također dobro inženjerstvo. Jasno vlasništvo olakšava istragu incidenata i unapređivanje sustava. Kada je ishod pogrešan, timovi bi trebali moći odgovoriti: koje su informacije upotrijebljene, koje je pravilo primijenjeno, koji je alat pozvan i tko je odobrio radnju?

Inteligencija je u arhitekturi

Najtrajnija AI prednost rijetko će proizaći samo iz pametnog upita. Proizlazi iz dovoljno dubokog razumijevanja posla da se poslovno znanje pretvori u pouzdan softver: pouzdane podatke, fokusirane radne procese, pažljivo ograničene alate, mjerljivu kvalitetu i ljude na pravim mjestima.

Modeli će se nastaviti mijenjati. Arhitektura oko njih ono je što organizaciji omogućuje učenje. Dobro izgradite taj sloj i AI prestaje biti novost koja generira riječi. Postaje praktičan sustav koji poslovanju pomaže bolje iskoristiti vlastito znanje.