Kodirajte vlastiti put do umjetne inteligencije koja uistinu razumije vaše poslovanje
Generički AI asistent može sažeti sastanak ili dotjerati e-poruku. Pitate li ga zašto je obnova ugovora s klijentom ugrožena, odgovor može zvučati uvjerljivo, a pritom izostaviti detalj koji vaš tim zadužen za klijenta smatra presudnim. Problem je rijetko u nedostatku rječitosti. Problem je u nedostatku poslovnog konteksta, pouzdanih informacija i jasno definirane uloge u radu.
Za razvojne inženjere i tehničke voditelje taj je jaz prilika. Ne morate trenirati model od početka da biste izgradili nešto korisno. Morate, međutim, pretvoriti poslovno znanje u proizvod koji može pronaći relevantne informacije, poštovati granice ovlasti i pomoći osobi da donese bolju odluku.
Počnite s odlukom, a ne s chatbotom
„Dodajmo AI u proizvod” smjer je, a ne definicija problema. Korisnije je polazište ono koje određuje osobu, zadatak koji se ponavlja i posljedice pogreške. Na primjer: stručnjak za korisničku podršku mora utvrditi koja se politika povrata novca primjenjuje na klijentovu pretplatu i regiju, bez pretraživanja više internih dokumenata.
Takvo postavljanje problema mijenja pristup dizajnu. Asistent ne mora znati sve o tvrtki. Potreban mu je pristup aktualnim dokumentima o pravilima, dovoljno konteksta za razlikovanje vrsta pretplate i regija te način da pokaže izvor svojeg odgovora. Također bi trebao prepoznati kada dostupne informacije nisu dovoljne i prepustiti pitanje osobi.
Prije nego što počnete razvijati integraciju, dogovorite kako izgleda dobar ishod. Je li cilj smanjiti vrijeme utrošeno na pretraživanje, poboljšati dosljednost ili pomoći novim članovima tima da rade samostalno? Odaberite mjerilo koje odražava stvarni zadatak i uparite ga s provjerom kvalitete. Brži odgovor nije poboljšanje ako se u njemu primjenjuje pogrešna politika.
Omogućite modelu kontekst koji može upotrijebiti
Poslovno znanje obično je raspršeno po dokumentima, bazama podataka, zahtjevima i glavama ljudi. AI funkcionalnosti potreban je osmišljen put do relevantnih dijelova tog znanja. Jedan je čest pristup dohvat: pronaći materijal povezan s korisnikovim zahtjevom, a zatim ga uključiti u zahtjev koji se šalje modelu.
Razmotrite asistenta za povrat novca. Aplikacija bi mogla upotrijebiti klijentovu vrstu pretplate i regiju kako bi odabrala primjenjive dokumente o pravilima, dohvatila relevantne odlomke i zatražila od modela da sastavi odgovor utemeljen na tim odlomcima. Sučelje može prikazati naslove dokumenata i odlomke kako bi stručnjak mogao provjeriti preporuku.
Inženjerski rad na dohvatu jednako je važan kao i sam prompt. Dotjeran odgovor temeljen na zastarjeloj politici i dalje je pogrešan. Dodijelite odgovorne osobe dokumentima, zabilježite kada su posljednji put pregledani i odlučite kako će ažuriranja stizati do sustava za dohvat. Ako su dvije politike u sukobu, aplikacija bi trebala upozoriti na sukob umjesto da neprimjetno odabere najprikladniji odgovor.
Očuvajte i postojeće ovlasti pristupa. Korisnik bi smio primiti samo informacije za koje ima ovlaštenje pristupa, uključujući informacije koje asistent citira ili sažima. Dohvaćeni tekst tretirajte kao podatke, a ne kao upute koje mogu nadjačati pravila aplikacije. Ta granica postaje osobito važna kada sustav može pretraživati sadržaj koji su stvorili korisnici ili dokumente izvan organizacije.
Pretvorite poslovna pravila u jasno definirano ponašanje
Neke odluke ne bi trebalo prepustiti tumačenju modela. Ako je za povrat novca iznad određenog iznosa potrebno odobrenje, provedite to pravilo u kodu aplikacije ili postojećem sustavu za odobravanje. Model može objasniti pravilo i pomoći u pripremi zahtjeva, ali mjerodavni sustav trebao bi odlučiti je li radnja dopuštena.
Ta razlika ujedno olakšava održavanje proizvoda. Trebalo bi biti jasno gdje se provodi promjena politike. Ako isto pravilo postoji u promptu, bazi podataka i konfiguraciji tijeka rada, te se kopije mogu s vremenom razići. Utvrdite mjerodavni izvor podataka i omogućite asistentu da ga konzultira gdje god je to izvedivo.
Kod radnji sa stvarnim posljedicama odvojite prijedlog radnje od njezina izvršenja. Model može sastaviti nacrt odgovora klijentu ili pripremiti zahtjev za povrat novca; osoba ga može pregledati prije slanja. Prije upotrebe provjerite svaki strukturirani izlaz, a nedostajuća ili neispravno oblikovana polja obradite kao uobičajene slučajeve pogreške. Ako radnja ne uspije ili se zahtjev ponovno pošalje, aplikacija bi trebala spriječiti da se radnja slučajno izvrši dvaput.
Procjenjujte obavljeni posao, a ne samo formulaciju
Uvjerljiva demonstracija može prikriti ozbiljne slabosti. Izradite mali skup za evaluaciju na temelju reprezentativnih zadataka, koristeći informacije koje vaš tim smije upotrebljavati. Uključite jednostavne slučajeve, dvosmislene zahtjeve, nedostajuće informacije, proturječne dokumente i situacije u kojima je ispravno rješenje proslijediti slučaj na višu razinu.
Zamolite ljude koji poznaju taj posao da ocijene više od same tečnosti izražavanja. U primjeru povrata novca mogli bi provjeriti primjenjuje li odgovor ispravnu politiku, navodi li relevantan odlomak, prepoznaje li kada je potrebno odobrenje i izbjegava li obećati ishod koji tvrtka ne može jamčiti.
Ponovite te provjere kada promijenite prompt, logiku dohvata, model ili izvorni materijal. Automatizirane provjere mogu otkriti važne propuste, poput nedostajućeg navoda izvora ili neispravnog formata odgovora, ali ne zamjenjuju stručnu procjenu prikladnosti odgovora. Pratite pogreške prema vrsti kako bi tim mogao razlikovati problem s dohvatom od nejasne politike ili pogreške u aplikaciji.
Planirajte odgovornosti nakon pokretanja
AI funkcionalnost nije dovršena kada proizvede svoj prvi koristan odgovor. Netko mora biti odgovoran za njezine izvorne materijale, pregledavati prijavljene pogreške, pratiti pouzdanost i troškove te odlučiti kada bi funkcionalnost trebalo zaustaviti ili prijeći na postojeći tijek rada. Jasno definirajte te odgovornosti prije pokretanja, osobito kada zaposlenici iz područja proizvoda, razvoja, sigurnosti i operacija rade u različitim timovima ili vremenskim zonama.
Počnite s uskom skupinom korisnika i zadatkom čiji rezultat ljudi mogu provjeriti. Omogućite korisnicima jednostavan način da označe odgovor i pružite im dovoljno konteksta da objasne što je pošlo po zlu. Pregledajte te prijave s osobama odgovornima za proces, a zatim probleme koji se ponavljaju pretočite u promjene proizvoda, informacija na kojima se temelji ili skupa za evaluaciju.
Najvrjednija poslovna primjena umjetne inteligencije često manje nalikuje stroju koji poznaje vašu tvrtku, a više dobrom suradniku: oslanja se na prave materijale, jasno ukazuje na neizvjesnost i pažljivo postupa u granicama svojih ovlasti. Kod to omogućuje, ali prava je vještina odlučiti što bi sustav trebao znati, što smije raditi i kako ljudi mogu imati povjerenja u njegov rad.