Više od promptova: osmislite pozadinske sustave koji AI poučavaju o vašem poslovanju
Uputa može reći AI asistentu da „razumije naše poslovanje”. Ne može mu reći koji kupac ima pravo na povrat novca, je li narudžba poslana ili tko smije vidjeti ugovor. Ti se odgovori nalaze u sustavima, pravilima i odnosima koji se mijenjaju dugo nakon što je uputa napisana.
Zato je pozadinski sustav više od izvora podataka. To je sloj koji AI aplikaciji može pružiti pouzdan kontekst, provesti ograničenja i pretvoriti uvjerljiv odgovor u koristan. Inženjerski je izazov učiniti poslovno znanje dostupnim u obliku koji asistent može upotrijebiti, a da pritom ne mora nagađati kako tvrtka posluje.
Odvojite znanje od ovlasti
Poslovno znanje pojavljuje se u više oblika. Dokument o pravilima može objasniti opći rok za povrat novca. Baza podataka o narudžbama sadrži datum kupnje i status ispunjenja narudžbe. Aplikacijska usluga odlučuje ispunjava li određena narudžba uvjete, uključujući iznimke koje se možda ne pojavljuju u sažetku pravila.
Asistentu su za svaki od tih izvora potrebni drukčiji načini pristupa. Pretraživanjem se mogu dohvatiti relevantni odlomci pravila. API za čitanje može pružiti trenutačne podatke o narudžbi. Namjenska usluga može procijeniti ispunjava li narudžba uvjete. Asistent zatim može objasniti rezultat, ali usluga ostaje odgovorna za odluku.
Primjerice, umjesto da modelu dostavite shemu baze podataka i zatražite od njega da utvrdi ispunjava li narudžba uvjete za povrat novca, omogućite pristup usko definiranoj operaciji kao što je „provjeri ispunjava li ova narudžba uvjete za povrat novca”. Njezin odgovor može sadržavati odluku o ispunjavanju uvjeta, kod razloga i verziju pravila. To asistentu daje nešto konkretno što može priopćiti, a inženjerskom timu stabilno mjesto za održavanje pravila.
Oblikujte kontekst kao API proizvod
Krajnje točke namijenjene AI aplikacijama zaslužuju jednaku pozornost kao i javni API-ji. Svakoj operaciji odredite jasnu svrhu, provjeravajte njezine ulazne podatke i vraćajte polja s dokumentiranim značenjem. Izbjegavajte odgovore koji miješaju izvorne zapise, upute za oblikovanje i nepovezane interne bilješke.
Koristan odgovor na pitanje o narudžbi mogao bi sadržavati identifikator narudžbe, status ispunjenja, vrijeme posljednjeg ažuriranja i objašnjenje statusa prikladno za kupca. Trebao bi i razlikovati „nije pronađeno”, „nema ovlasti za pristup” i „privremeno nedostupno”. Aplikacija može odlučiti koliko će od tih razlika otkriti korisniku, a da pritom ne dopusti asistentu da izmisli odgovor.
Uključite ove provjere u pregled API-ja:
- Opseg: Odgovara li operacija na jedno jasno poslovno pitanje?
- Ažurnost: Navodi li odgovor kada su podaci na kojima se temelji posljednji put ažurirani?
- Podrijetlo: Može li aplikacija utvrditi na kojem se pravilu ili zapisu temelji odgovor?
- Pogreške: Mogu li pozivatelji razlikovati nedostajuće podatke od pogreške usluge?
- Pristup: Provjerava li se ovlaštenje za dotičnu osobu i resurs?
U PHP aplikaciji te se operacije mogu nalaziti iza uobičajenih kontrolera i aplikacijskih usluga. Poslovne odluke zadržite u uslugama koje se mogu testirati neovisno o konverzacijskom sučelju. Ista usluga za provjeru ispunjavanja uvjeta tako može podržavati korisnički portal, internu nadzornu ploču i AI asistenta, bez triju različitih implementacija istih pravila.
Dohvaćajte dokumente uz očuvan kontekst
Na neka se pitanja ne može odgovoriti s pomoću jedne strukturirane krajnje točke. Za dokumentaciju proizvoda, postupke podrške i objašnjenja pravila prikladnije je dohvaćanje: pronađite relevantne odlomke, proslijedite ih modelu i zatražite da odgovori na temelju tog materijala.
Kvaliteta dohvaćanja ovisi o pripremi. Podijelite dokumente na odlomke koji čuvaju dovoljno okolnog konteksta, pridružite im korisne metapodatke i zabilježite odakle svaki odlomak potječe. Odlomak o iznimci mnogo je manje koristan ako je odvojen od dijela pravila koji određuje kada se ta iznimka primjenjuje.
Metapodaci također pomažu aplikaciji filtrirati sadržaj prije dohvaćanja. Djelatnik podrške i kupac mogu imati pravo pretraživati različite zbirke; pravilo za jednu regiju možda se ne primjenjuje u drugoj. Provedite ta ograničenja u sustavu za dohvaćanje i aplikacijskom sloju. Prekasno je tražiti od modela da zanemari tekst za koji nema ovlaštenje nakon što ga je već primio.
Sadržaj dokumenata također može sadržavati obmanjujuće upute. Dohvaćeni tekst tretirajte kao materijal za razmatranje, a ne kao uputu koja može nadjačati pravila aplikacije. Dopuštene operacije asistenta i provjere ovlaštenja držite izvan dohvaćenih dokumenata.
Učinite radnje jasnima i omogućite oporavak
Čitanje podataka o narudžbi i njihova izmjena različite su operacije. Ako asistent može pokrenuti povrat novca, ažurirati adresu ili otvoriti zahtjev za podršku, pozadinski sustav mora provjeriti valjanost radnje jednako kao što bi to učinio za bilo kojeg drugog klijenta.
Zahtijevajte utvrđivanje odgovarajućeg identiteta, provjerite ovlaštenje i trenutačno stanje te primijenite poslovna pravila na poslužitelju. Za radnje sa značajnim posljedicama pokažite korisniku što će se dogoditi i zatražite potvrdu prije slanja zahtjeva. Potvrda bi trebala navesti radnju i njezine važne pojedinosti, kao što su narudžba i iznos povrata novca.
Mrežne poteškoće čine oblikovanje radnji posebno važnim. Klijent možda neće primiti odgovor nakon što je poslužitelj već izvršio zahtjev. Ako klijent naslijepo ponovi pokušaj, mogao bi uzrokovati ponavljanje radnje. Ključ idempotentnosti, koji pozadinski sustav pohranjuje i provjerava za namjeravanu operaciju, omogućuje usluzi da prepozna ponovljeni zahtjev i vrati izvorni rezultat. Točno razdoblje čuvanja i postupanje u slučaju sukoba trebali bi biti dio API ugovora.
Planirajte latenciju, promjene i neizvjesnost
Odgovor AI asistenta može ovisiti o nekoliko usluga: autentikaciji, dohvaćanju, API-ju za narudžbe, usluzi za provjeru pravila i pružatelju modela. Svaka ovisnost povećava latenciju i uvodi još jednu mogućnost pogreške. Postavite vremenska ograničenja, ograničite broj ponovnih pokušaja i učinite djelomične kvarove vidljivima. Ako usluga za provjeru pravila nije dostupna, asistent može reći da još ne može provjeriti ispunjava li narudžba uvjete; ne bi smio umjesto toga ponuditi samouvjereno nagađanje.
Promišljeno koristite predmemoriju. Dokument s pravilima može podnijeti dulje zadržavanje u predmemoriji nego status narudžbe, ali za oboje je potrebna strategija poništavanja predmemoriranih podataka kada ispravnost ovisi o ažurnim informacijama. Uključite vremenske oznake ili verzije kada one pomažu aplikaciji odlučiti može li se kontekst još upotrijebiti.
Smještanje aplikacije u spremnike pomoću alata Docker može pridonijeti dosljednijem upravljanju ovisnostima i lokalnim postavkama, ali spremnici ne rješavaju probleme kvalitete podataka ni dizajna usluga. Konfiguraciju držite izvan slike, tajnim podacima upravljajte odgovarajućim mehanizmom za upravljanje tajnama te u testiranju provjerite iste scenarije pogrešaka koje aplikacija mora obraditi nakon postavljanja.
Procijenite odgovor u cjelini
Tradicionalno praćenje API-ja i dalje je važno: pratite pogreške, latenciju i stanje ovisnosti. Dodajte i procjene ponašanja koje korisnik vidi. Na reprezentativnom skupu pitanja provjerite je li aplikacija dohvatila odgovarajući materijal, pozvala odgovarajuću uslugu, poštovala ograničenja pristupa i dala odgovor koji je utemeljen na rezultatima.
Uključite slučajeve u kojima je ispravan odgovor izraziti neizvjesnost: zastarjeli dokument, nedostupnu uslugu, proturječne zapise ili zahtjev koji nadilazi korisnikova ovlaštenja. Pažljivo pregledavajte zapisnike, ograničite količinu osjetljivih podataka i čuvajte samo ono što je potrebno za rad sustava i istragu.
Ni najbolja uputa na svijetu ne može nadomjestiti nejasnu odgovornost za poslovna pravila. Dobro osmišljen pozadinski sustav asistentu pruža čvršći oslonac: ažurne činjenice, izričite odluke, kontrolirane radnje i iskazivanje stvarnog stanja kada dođe do pogreške. Tako aplikacija od one koja zvuči kao da poznaje poslovanje postaje ona na koju se u poslovanju može osloniti.