Većina poduzeća ne posluje prema pravilima zapisanim u dokumentima o politikama. Posluju prema prosudbi koju ljudi primjenjuju između redaka: kada kupac zaslužuje iznimku, koja su polja važna u neurednom zahtjevu, kako tumačiti nepotpunu primopredaju i kada proces koji izgleda ispravno zapravo ide prema problemu.

U tome leži prilika za korisni AI softver. Cilj nije izgraditi chatbot koji može reproducirati bazu znanja. Cilj je izgraditi sustave koji pomažu zabilježiti, primijeniti i unaprijediti nepisana pravila koja iskusni ljudi koriste svaki dan.

Počnite s odlukama, a ne dokumentima

Spremište dokumenata vrijedno je, ali rijetko je dovoljno. Mnoga operativna pravila postaju vidljiva tek u trenutku kada netko donese odluku. Stručnjak za podršku zna koji se problem s naplatom može riješiti odmah. Tim za prodajne operacije zna zašto dva naizgled identična posla treba usmjeriti različito. Financijski recenzent prepoznaje kombinaciju signala koja zahtijeva dodatnu provjeru.

Prije odabira modela ili dizajniranja agenta, utvrdite ponavljajuće odluke u kojima je stručnost trenutačno implicitna. Dobri kandidati obično imaju tri svojstva:

• Odluka se donosi dovoljno često da bude važna.
• Ljudi mogu objasniti barem dio svojeg obrazloženja naknadno.
• Trošak pogrešne preporuke može se ograničiti pregledom, ograničenjima ili eskalacijom.

„Odgovarajte na pitanja zaposlenika” obično je preširoko. „Sastavite odgovor na pitanje o uključivanju dobavljača koristeći odobrenu politiku, a zatim označite informacije koje nedostaju” dovoljno je konkretno za dizajn, testiranje i upravljanje.

Pretvorite prešutno znanje u upotrebljiv kontekst

Nepisana pravila ne treba tretirati kao tajanstvenu intuiciju koju će AI model nekako usvojiti. Treba ih prevesti u dokaze koje sustav može koristiti: primjere, kriterije odlučivanja, reference na politike, stanje tijeka rada i povratne informacije ljudi odgovornih za ishode.

Praktičan obrazac jest prikupiti mali skup reprezentativnih slučajeva. Za svaki zabilježite ulaz, odluku, obrazloženje, relevantni izvorni materijal i ishod. Namjerno uključite rubne slučajeve. Uobičajeni slučajevi podučavaju idealan tijek; iznimke otkrivaju gdje prosudba zapravo djeluje.

Razdvojite činjenice, pravila i preporuke

To razdvajanje je ključno. Činjenice mogu dolaziti iz evidencije kupca, zahtjeva, ugovora ili sustava za zalihe. Pravila mogu dolaziti iz formalnih politika ili odobrenih operativnih smjernica. Preporuka je modelovo predloženo tumačenje tih činjenica i pravila.

Kada se ti slojevi pomiješaju, postaje teško utvrditi je li odgovor utemeljen, zastario ili jednostavno pogrešan. Dobro osmišljeno sučelje trebalo bi učiniti tu razliku vidljivom. Na primjer, agent koji pregledava zahtjev za povrat novca mogao bi prikazati pojedinosti narudžbe, navesti primjenjivi odjeljak politike, a zatim predložiti radnju uz napomenu o pouzdanosti i mogućnost eskalacije.

Gradite usko usmjerene agente s jasnim granicama

Najpouzdaniji poslovni AI sustavi obično počinju kao usko usmjereni alati. Dobivaju definiran zadatak, pristup ograničenom skupu podataka i radnji te djeluju unutar tijeka rada koji ljudi već razumiju.

Razmotrite internog asistenta za nabavu. Njegova prva verzija ne bi trebala pregovarati s dobavljačima, odobravati potrošnju i mijenjati ugovore. Umjesto toga, mogao bi klasificirati dolazni zahtjev, utvrditi potrebne informacije, dohvatiti relevantnu politiku nabave i pripremiti kontrolni popis za ljudskog recenzenta.

Takav opseg olakšava procjenu sustava. Također smanjuje iskušenje da se dodijele široke ovlasti prije nego što organizacija razumije njegove načine otkazivanja.

• Dajte agentu precizan cilj i uvjet za zaustavljanje.
• Izložite samo alate potrebne za taj cilj.
• Zahtijevajte potvrdu prije nepovratnih ili izvana vidljivih radnji.
• Definirajte putove eskalacije za slučajeve niske pouzdanosti, velikog utjecaja ili sukoba.
• Bilježite ulaze, dohvaćeni kontekst, predložene radnje i konačne ishode.

Agent ne postaje pouzdan zato što su mu upute opsežne. Povjerenje proizlazi iz kombinacije utemeljenog konteksta, ograničenih radnji, vidljivog ponašanja i odgovarajuće ljudske kontrole.

Upotrijebite dohvaćanje za utemeljenje odgovora, ali ga ne zamjenjujte upravljanjem

Dohvaćanje može pomoći modelu pronaći relevantno interno znanje u trenutku zahtjeva. To je često praktičnije od pokušaja kodiranja svake politike u uputu ili ponovnog treniranja modela kad god se postupak promijeni.

Ali kvaliteta dohvaćanja problem je proizvoda, a ne samo problem pretraživanja. Dokumenti trebaju vlasništvo, datume, jasne naslove, smislene odjeljke i kontrole pristupa. Ako je izvorni materijal proturječan, zastario ili nedostupan, dodavanje AI-ja brže će otkriti te slabosti.

Oblikujte odgovore tako da korisnici mogu provjeriti zašto je sustav dao preporuku. Sažeta citatna referenca ili poveznica na mjerodavni izvor često je vrjednija od uglađenog odlomka. Korisniku daje način da provjeri rezultat, a vlasnicima sadržaja konkretan signal kada smjernice treba popraviti.

Neka povratne informacije budu dio proizvoda

Prva implementacija nije kraj procesa učenja. Tada sustav počinje susretati stvarne varijacije koje nisu bile prisutne u raspravama o dizajnu.

Prikupljajte povratne informacije u obliku koji podržava poboljšanje. Jednostavan signal palac gore ili palac dolje može ukazati na opće zadovoljstvo, ali rijetko objašnjava što se promijenilo. Bolje opcije povratnih informacija uključuju „pogrešna politika”, „nedostaje kontekst”, „netočna klasifikacija”, „bila je potrebna eskalacija” i „preporuka je bila korisna, ali nepotpuna”.

Redovito pregledavajte te povratne informacije s domen­skim stručnjacima. Tražite ponavljajuće obrasce, a ne izolirane neuspjehe. Ako korisnici opetovano poništavaju preporuku iz istog razloga, to nije samo problem modela. Može ukazivati na pravilo koje nedostaje, dvosmislen tijek rada ili politiku koja postoji samo u nečijem sjećanju.

Mjerite poslovno ponašanje, a ne uglađenost razgovora

Tečan izlaz može stvoriti lažan dojam kompetentnosti. Procijenite sustav prema odlukama koje treba podržati.

Za agenta za trijažu podrške korisne mjere mogu uključivati ispravno usmjeravanje, nepotrebne eskalacije, propuštene eskalacije, vrijeme do rješenja i prihvaćanje od strane recenzenta. Za asistenta za dokumente procijenite činjeničnu utemeljenost, relevantnost citata, potpunost i je li odgovor ostao unutar ovlaštenog opsega.

Upotrijebite skup za testiranje koji uključuje realističnu dvosmislenost, proturječne signale, nepotpune evidencije i protivničke upute. Testirajte što se događa kada je potreban sustav nedostupan, kada dohvaćanje ne vraća ništa korisno i kada agent nema dopuštenje dovršiti radnju. U zrelim sustavima sigurno odbijanje ili eskalacija često su bolji rezultat od samouvjerenog nagađanja.

Zaštitite ljude iza procesa

AI sustavi koji kodiraju operativno znanje mogu utjecati na radna mjesta, ovlasti, privatnost i odgovornost. O tim učincima treba otvoreno razgovarati. Zaposlenici će vjerojatnije pridonijeti vrijednom stručnošću kada razumiju kako će se ona koristiti, tko joj može pristupiti i gdje ljudska prosudba ostaje ključna.

Budite posebno oprezni sa sustavima koji utječu na zapošljavanje, procjenu radnog učinka, kreditiranje, određivanje cijena, pristup, zdravstvenu skrb, pravna pitanja ili druge odluke s važnim posljedicama. Ispravan dizajn može biti podrška odlučivanju umjesto automatiziranog donošenja odluka. Tehnička sposobnost ne uklanja potrebu za odgovornim vlasništvom.

Učinite nepisano vidljivim, a da ne postane kruto

Najjači AI sustavi ne zamjenjuju organizacijsku prosudbu krhkim pravilnikom. Oni korisnu prosudbu čine lakšom za pronalaženje, primjenu, propitivanje i poboljšavanje.

Počnite s jednim važnim, ali ograničenim tijekom rada. Sačuvajte dokaze koji stoje iza preporuka. Dopustite stručnjacima da ispravljaju sustav. Iznimke tretirajte kao materijal za učenje, a ne kao neugodnost. S vremenom softver postaje više od sučelja za model: postaje živa mapa načina na koji poduzeće donosi dobre odluke.

To je trajna vrijednost AI-ja u softverskom radu. Nije riječ samo o bržem izlazu. Riječ je o prilici da se teško stečeno, raspršeno znanje pretvori u sustav koji pomaže većem broju ljudi djelovati jasno kada pisana pravila prestanu vrijediti.