AI asistent može napisati uvjerljiv odgovor, a pritom previdjeti jedno pravilo koje taj odgovor čini korisnim za vaše poslovanje. Može preporučiti povrat novca za koji je potrebno odobrenje, obećati datum isporuke koji vaše skladište ne može ispoštovati ili sažeti problem korisnika bez prepoznavanja razloga za eskalaciju.

Instinktivan je odgovor često dati modelu više dokumenata ili dulji upit. To ponekad pomaže. No učinkovitom AI sustavu potrebno je više od pristupa informacijama: potreban mu je pouzdan način primjene poslovnih pravila, učenja iz ishoda i rada unutar granica koje ljudi mogu provjeriti.

Počnite definiranjem što znači „uči”

Učenje je riječ koja u području umjetne inteligencije ima više značenja. Model ne ažurira nužno svoje parametre kada korisnik ispravi odgovor. Sustav se ipak može poboljšati bez ponovnog treniranja modela: može dohvatiti bolje informacije, zabilježiti ispravke, prilagoditi tijek rada ili osobi koja provodi pregled jasnije predočiti odluku koju treba donijeti.

Razdvojite te mehanizme prije odabira načina implementacije:

• Upute govore modelu kako se ponašati tijekom zadatka.
• Dohvat pruža relevantne, ažurne informacije iz vanjskog izvora.
• Aplikacijska logika provodi pravila i kontrolira koje su radnje dostupne.
• Povratne informacije i evaluacija otkrivaju gdje je sustav uspješan, a gdje griješi te usmjeravaju promjene.
• Treniranje ili fino podešavanje može promijeniti ponašanje modela, ali zahtijeva odgovarajući postupak i ne zamjenjuje vanjske kontrole.

Ti mehanizmi djeluju zajedno, ali rješavaju različite probleme. Ako se ograničenje povrata novca sutra promijeni, ažuriranje mjerodavnih pravila ili konfiguracije obično je izravnije rješenje od oslanjanja na to da model zapamti novo ograničenje.

Smjestite svako pravilo ondje gdje se na njega možete osloniti

Razmotrite asistenta koji pomaže djelatnicima korisničke podrške u obradi zahtjeva za povrat novca. On treba protumačiti korisnikovu poruku, pronaći odgovarajuću narudžbu, primijeniti trenutačna pravila i predložiti odgovor. Ne zahtijevaju svi ti koraci jednaku razinu slobode odlučivanja.

Model je koristan za tumačenje nejasnog objašnjenja ili sastavljanje jasnog odgovora. Deterministički aplikacijski kod prikladniji je za provjeru ispunjava li narudžba uvjete, izračun iznosa povrata i utvrđivanje je li potrebno odobrenje. Izvor pravila trebao bi pružati trenutačne uvjete; aplikacija bi trebala zabilježiti koju je verziju upotrijebila.

Ta je podjela važna jer upute na prirodnom jeziku mogu biti dvosmislene, a odgovori modela mogu se razlikovati. Upit u kojem piše „nikada ne prekorači dopušteni iznos povrata” korisna je smjernica, ali usluga koja izvršava povrate trebala bi neovisno provjeriti ograničenje prije poduzimanja radnje.

Odvojite odluke od radnji

Omogućite asistentu da zatraži radnju na strogo određen način, a zatim provjerite zahtjev izvan modela. Na primjer, asistent može predložiti identifikator narudžbe, iznos i razlog. Aplikacija provjerava korisnikove ovlasti, potvrđuje trenutačni status narudžbe, primjenjuje pravila te zahtjev odbija, prosljeđuje na odobrenje ili izvršava.

Za radnje sa značajnim posljedicama prikažite osobi predloženi ishod i informacije koje ga potkrepljuju. Osoba koja provodi pregled tako može odobriti povrat uz uvid u kontekst, umjesto da pokušava rekonstruirati zašto je asistent postupio na određeni način. Zabilježite odluku i odgovarajuću verziju pravila kako bi se ishod poslije mogao ispitati.

Pretvorite ispravke u ciklus učenja

Sam gumb za povratne informacije ne čini sustav sposobnim za učenje. Koristan ciklus povezuje konkretnu pogrešku s odgovornom osobom i promjenom. Ako djelatnik korisničke podrške uredi predloženi odgovor, zabilježite dovoljno konteksta da biste razumjeli izmjenu: zadatak, predloženi odgovor, konačni odgovor i odgovarajući razlog ispravka. Ograničite pristup tim podacima i zadržite samo ono što je organizaciji potrebno.

Zatim potražite obrasce. Ponavljani ispravci povezani s nekom iznimkom mogu upućivati na nejasna pravila, problem s dohvatom ili nedostatak pravila za provjeru. Svaki od tih problema zahtijeva drukčije rješenje. Dodavanje primjera u upit neće ispraviti zastarjeli dokument s pravilima, a ažuriranje dokumenta neće pomoći ako aplikacija dohvaća pogrešan dokument.

Prije široke primjene promjene sastavite mali skup reprezentativnih slučajeva za evaluaciju. Uključite jednostavne zahtjeve, dvosmislene slučajeve, iznimke od pravila i situacije u kojima je ispravan odgovor zatražiti pomoć. Usporedite postojeći sustav s predloženom promjenom te pregledajte pogoršanja kao i poboljšanja. Zaštitite osjetljive primjere i nemojte jedan povoljan rezultat smatrati dokazom pouzdanosti.

Osmislite sustav za neizvjesnost i promjene

Poslovna pravila rijetko su nepromjenjiva. Pravila s vremenom dobivaju iznimke, proizvodi se mijenjaju, a različiti korisnici mogu imati različite ugovore. Jasno odredite tko je odgovoran za pravila, datume njihova stupanja na snagu kada je to relevantno i način rješavanja sukoba. Kada asistent ne može pronaći primjenjivo pravilo ili pronađe proturječne izvore, trebao bi to reći i proslijediti slučaj osobi koja može odlučiti.

Planirajte i uobičajene tehničke kvarove. Dohvat pravila možda neće biti dostupan, narudžba se može promijeniti nakon što je dohvaćena ili zahtjev za radnju može isteći. Sustav ne bi smio nedostajuće informacije zamijeniti nagađanjem iznesenim s uvjerenjem. Prije ponavljanja radnje koja ima učinke provjerite je li već uspjela; u suprotnom bi istek vremena mogao dovesti do ponavljanja postupka.

Praćenje bi trebalo povezivati tehničke pokazatelje s poslovnim ishodima. Pratite, primjerice, neuspjele dohvate, odbijene zahtjeve za radnje, stope odobravanja i ispravke, uz dovoljno konteksta za istraživanje. Smanjenje broja pogrešaka ohrabruje, ali samo po sebi ne dokazuje da su korisnici dobili ispravan ishod. Periodičan pregled stvarnih slučajeva i dalje je vrijedan.

Unaprijedite poslovanje, a ne samo asistenta

Najbolji AI sustavi otkrivaju neutemeljene pretpostavke u procesu koji ih okružuje. Ako se osobe koje provode pregled stalno ne slažu, možda je potrebno pojasniti pravila. Ako asistentu često nedostaje ključna činjenica, možda treba odrediti tko je odgovoran za temeljne podatke. Ako su za neku radnju potrebna česta ručna odstupanja, možda je u tijek rada ugrađeno pogrešno pravilo.

To je praktična prednost ugradnje poslovne logike: model pridonosi jezičnim sposobnostima i prosudbom ondje gdje su korisni, dok aplikacija pruža mjerodavne činjenice, granice koje se mogu provoditi i način učenja iz rezultata. Promišljeno uspostavite te veze i svaki ispravak može poboljšati više od sljedećeg odgovora. Može poboljšati sustav na koji se ljudi oslanjaju.