Kôd kao kontekst: Osnaživanje umjetne inteligencije stvarnom logikom vašeg sustava
AI asistent može objasniti što se čini da platna usluga radi, a ipak propustiti jedini uvjet koji određuje hoće li se korisniku naplatiti. Naziv metode može biti jasan, komentari ulijevati povjerenje, a dijagram arhitekture biti točan na općoj razini. Odlučujuće pravilo može se nalaziti u funkciji za validaciju do koje vode tri poziva.
Upravo je zbog tog raskoraka kod toliko vrijedan kontekst za AI. Izvorni kod otkriva odluke koje sustav stvarno donosi, uključujući rubne slučajeve koji nikada nisu dospjeli u specifikaciju. No dati modelu cijeli repozitorij rijetko je dovoljno. Koristan kontekst mora povezati relevantnu logiku, njezine granice i dokaze potrebne za provjeru odgovora.
Kod otkriva ponašanje koje opisi mogu previdjeti
Dokumentacija objašnjava namjeru. Kod pokazuje kako je ta namjera pretočena u odluke. Oboje je važno, osobito kada se sustav razvijao godinama kroz niz malih promjena.
Razmotrite zahtjev za dodavanje mogućnosti povrata novca. Opis API-ja mogao bi navoditi da se za narudžbu može zatražiti povrat novca u roku od 30 dana. Implementacija također može zahtijevati da je plaćanje namireno, isključivati određene promotivne kredite i računati rok od datuma ispunjenja narudžbe, a ne od datuma kupnje. Asistent koji vidi samo opis krajnje točke može proizvesti naizgled uvjerljiv kod koji krši ta pravila.
Relevantan kontekst stoga obuhvaća više od datoteke koja se uređuje. Može uključivati pozivatelja, funkciju za validaciju, podatkovni model, postojeće testove i pogrešku koja se vraća klijentima. Za agenta koji može mijenjati kod može uključivati i konvencije repozitorija te naredbe kojima održavatelji provjeravaju promjenu.
Pratite put kroz logiku
Počnite od zadatka, a zatim pratite povezano ponašanje. Ako se zahtjev odnosi na krajnju točku za povrat novca, pratite ga od obrađivača kroz autorizaciju, validaciju, izračun i pohranu podataka. Uključite testove koji opisuju očekivane ishode. Time model dobiva povezan put kroz sustav umjesto zbirke labavo povezanih datoteka.
Koristan opis zadatka može biti sažet:
- Cilj: Dodati provjeru ispunjava li narudžba uvjete za povrat novca u određenom stanju.
- Ulazna točka: Utvrditi u kojem obrađivaču ili servisu započinje obrada zahtjeva.
- Pravila: Uputiti na postojeću validaciju i prijelaze između stanja.
- Ograničenja: Navesti koje ponašanje dostupno korisnicima mora ostati kompatibilno.
- Dokazi: Utvrditi relevantne testove i provjere koje treba pokrenuti.
Zatražite od asistenta da navede funkcije ili testove na kojima temelji svoje tumačenje. To olakšava pregled predložene promjene i rano otkriva nedostatke. Ako ne može pronaći gdje se pravilo provodi, sljedeći je korak istražiti to ili upozoriti na neizvjesnost, a ne prešutno izmisliti implementaciju.
Dajte agentima alate s jasnim granicama
Kontekst postaje korisniji kada agent tijekom rada može pregledavati repozitorij. Pretraživanje funkcije, čitanje koda koji je poziva i pokretanje ciljanog testa mogu mu pomoći da preispita početnu pretpostavku. Unaprijed pripremljen statički skup materijala može izostaviti datoteku za koju se pokaže da sadrži ključno pravilo.
Pristup alatima mijenja i rizik. Čitanje izvornog koda, uređivanje lokalne datoteke, pokretanje testa i uvođenje servisa u rad različite su radnje s različitim posljedicama. Omogućite agentu pristup primjeren zadatku i zahtijevajte pregled prije radnji koje utječu na zajednička okruženja ili vanjske sustave. I testna naredba može imati nuspojave, stoga saznajte što radi prije nego što agentu dopustite da je pokrene.
Ne unosite vjerodajnice i osjetljive podatke korisnika u upite i izlaz alata, osim ako je njihova upotreba nužna i odobrena. Jednako pažljivo postupajte sa zapisima i konfiguracijskim datotekama: oni mogu sadržavati tajne podatke čak i kada ih sam izvorni kod ne sadrži. Također, tekst pronađen u repozitorijima, prijavama i dohvaćenim dokumentima smatrajte podacima za zadatak, a ne izvorom ovlasti koji može nadjačati upute za rad agenta.
Koristite testove kao dokaz, a ne kao zamjenu za razumijevanje
Testovi su osobito koristan oblik konteksta jer povezuju ulazne podatke s očekivanim ponašanjem. Dobro imenovan test može otkriti važnu iznimku brže nego opsežna implementacija. Postojeći testovi također mogu pomoći asistentu da očuva ponašanje tijekom uvođenja promjene.
Prolazak testova ne dokazuje da je asistent razumio cijeli sustav. Skup testova može izostaviti granični slučaj iz zahtjeva, upotrebljavati zamjenske objekte koji prikrivaju problem integracije ili ne obuhvatiti neki autorizacijski put. Pitajte što testovi potvrđuju i što ostaje neprovjereno.
U primjeru povrata novca pregledajte slučajeve povezane s rokom za ostvarivanje prava na povrat, stanjem plaćanja, djelomičnim povratima i ponovljenim zahtjevima ondje gdje su ta ponašanja relevantna. Ako promjena utječe na istodobnu obradu, ispitajte kako sustav sprječava situaciju u kojoj dva zahtjeva pokušavaju provesti isti povrat ili kako postupa u takvoj situaciji. Točan odgovor ovisi o stvarnoj logici transakcija i pohrane podataka, a ne o općenitoj tvrdnji da se zahtjev prema krajnjoj točki može sigurno ponoviti.
Održavajte kontekst ažurnim i provjerljivim
Paket konteksta može zastarjeti čim se kod promijeni. Generirani sažeci i bilješke o arhitekturi korisne su smjernice, ali trebali bi upućivati na izvorni kod i testove koji se mogu provjeriti. Kada je objašnjenje modela u sukobu s implementacijom, istražite nesklad: kod može sadržavati pogrešku, dokumentacija može biti zastarjela ili je model možda previdio neki uvjet.
Za radne postupke koji se ponavljaju održavajte sažet pregled važnih ulaznih točaka, pojmova iz domene, naredbi za provjeru i operativnih granica. Ažurirajte ga uz značajne promjene. Izbjegavajte duplicirati svako pravilo u zasebnom dokumentu namijenjenom AI-ju; duplicirana pravila stvaraju još jedno mjesto na kojem se mogu pojaviti nedosljednosti.
Najučinkovitija upotreba AI-ja u bazi koda nije natjecanje u tome koliko se datoteka može smjestiti u upit. Riječ je o disciplini kojom se modelu daje pregled važnog ponašanja koji se može pratiti do izvora, sredstva za provjeru njegovih pretpostavki i granice koje odgovaraju posljedicama njegovih radnji. Kod pruža pojedinosti; inženjerska prosudba pretvara ih u kontekst koji asistent može odgovorno upotrijebiti.