Kontekst vašeg koda sljedeća je granica umjetne inteligencije
AI asistent za programiranje može u nekoliko sekundi objasniti funkciju, a ipak napraviti pogrešnu izmjenu. Problem često nije u samoj funkciji. Problem su informacije koje je okružuju: nedokumentirano poslovno pravilo, pravilo ponovnih pokušaja u drugoj usluzi, testni podaci koji odražavaju stari ugovor ili ograničenje pri implementaciji koje nikada nije dokumentirano u repozitoriju.
Te okolne informacije čine kontekst koda i postaju presudne za korisnost AI-ja u razvoju softvera. Bolji modeli jesu važni, ali sposoban model koji radi s nepotpunim ili obmanjujućim kontekstom može ponuditi dotjeran odgovor na pogrešan problem. Sljedeći je izazov pomoći AI sustavima da pronađu, protumače i upotrijebe odgovarajuće dokaze u pravom trenutku.
Kontekst je više od opsežnog upita
Razvojni programeri često smatraju da kontekst čine datoteke zalijepljene u razgovor. U praksi on obuhvaća nekoliko slojeva: izvorni kod i testove, arhitekturne odluke, API ugovore, operativna ograničenja, sigurnosne zahtjeve i razlog zbog kojeg je izmjena zatražena. Dio tih informacija nalazi se u repozitoriju, a dio u sustavima za praćenje zadataka, dokumentaciji, zapisima ili u glavama ljudi koji održavaju sustav.
Razmotrite zahtjev za dodavanje ponovnih pokušaja operaciji plaćanja. Kod koji se izravno mijenja možda olakšava novi pokušaj. Važan je kontekst to je li operacija idempotentna, kako pružatelj platnih usluga obrađuje ponovljene zahtjeve, nakon kojih je pogrešaka sigurno pokušati ponovno te po čemu se istek vremena razlikuje od potvrđene pogreške. Bez tih činjenica asistent bi mogao učiniti sustav otpornijim na mrežne pogreške, ali istodobno omogućiti dvostruku naplatu.
Više teksta nije automatski bolje. Ogromna količina slabo povezanih datoteka može zakopati presudno ograničenje. Koristan je kontekst pažljivo odabran, ažuran, ima naveden izvor i povezan je sa zadatkom.
Dajte asistentu kartu prije nego što zatražite rutu
Dobro je polazište sažet vodič kroz repozitorij. Trebao bi objasniti kako je sustav organiziran, gdje se nalaze važne granice, kako pokrenuti odgovarajuće provjere i koje konvencije imaju stvarne posljedice. Neka bude dovoljno kratak za održavanje i dovoljno konkretan da promijeni ponašanje asistenta.
Na primjer, „pišite čist kod” ne pruža mnogo smjernica. „Izmjene javnog API-ja moraju sačuvati postojeća polja odgovora, osim ako se ugovor izričito ne izmijeni” daje asistentu ograničenje koje može primijeniti. Poveznica na ugovor i njegove testove olakšava provjeru tog ograničenja.
I opisima zadataka koristi jasna struktura. Navedite željeno ponašanje, relevantne granice i što bi se smatralo dokazom uspjeha. Zahtjev poput „ispravi pogrešku pri prijavi” ostavlja previše prostora za nagađanje. Bolji zahtjev navodi uočenu pogrešku, očekivano ponašanje, okruženje u kojem se pojavljuje i sva poznata ograničenja pri njezinu reproduciranju.
Nemojte pretvoriti vodič u enciklopediju. Dokumentacija koja je u suprotnosti s kodom ili opisuje postupak implementacije koji se više ne koristi može biti gora nego da smjernica uopće nema. Odredite tko je za nju odgovoran, pregledavajte je kad se sustav promijeni i jasno naznačite ono što je neizvjesno.
Prikupljajte dokaze kako posao napreduje
Za veće baze koda nije realno unaprijed odabrati svaku relevantnu datoteku. Agent umjesto toga može raditi u fazama: proučiti zahtjev, pronaći vjerojatna ulazna mjesta, slijediti reference, pročitati povezane testove i prikupiti dodatne dokaze kad naiđe na nepoznatu granicu. Važna je odluka pri osmišljavanju sustava usmjeriti dohvat informacija na konkretno pitanje.
Ako asistent mijenja način zatvaranja računa, mogao bi najprije pronaći krajnju točku i njezine testove. Zatim bi trebao potražiti daljnje učinke: pretplate, zapise koji se zadržavaju, provjere ovlaštenja i događaje koje obrađuju druge usluge. Svako otkriće može odrediti što će se sljedeće proučiti. Rezultat pretraživanja trag je, a ne dokaz da je okolno ponašanje razjašnjeno.
Sustavi za dohvat informacija mogu pomoći pretraživanjem koda i dokumentacije, ali imaju ograničenja. Semantički sličan dokument može biti zastario, a pretraživanje točnog teksta može propustiti pojam opisan pod drugim nazivom. Uz dohvaćene odlomke sačuvajte putanje datoteka i druge podatke o izvoru kako bi ih asistent i osoba koja pregledava izmjene mogli provjeriti u kontekstu. Kad se izvori ne slažu, sustav bi trebao istaknuti proturječje umjesto da prešutno odabere najprikladniji odgovor.
Ostavite prostora za provjeru i neizvjesnost
Kontekst bi trebao usmjeravati izmjenu, a provjera je staviti na kušnju. Relevantni testovi, provjere tipova, statička analiza i pregled nastalih razlika u kodu mogu otkriti pogreške koje uvjerljivo objašnjenje prikriva. Odgovarajuće provjere ovise o izmjeni: izmijenjena migracija baze podataka zahtijeva drukčiju provjeru od lektorske izmjene, a uspješan jedinični test ne dokazuje da će implementacija uspjeti.
Agenti bi trebali izvijestiti o tome što su doista provjerili i razlikovati opažene rezultate od pretpostavki. Ako se test nije mogao pokrenuti, to je korisna informacija za osobu koja pregledava izmjene. Ako je zahtjev dvosmislen, a dvije bi implementacije imale bitno različite posljedice, asistent bi trebao istaknuti odluku koju treba donijeti umjesto da nagađanje prikaže kao činjenicu.
Ljudski pregled i dalje je osobito vrijedan ondje gdje sam kod ne može razriješiti pitanje: kod namjere proizvoda, zadržavanja podataka, kontrole pristupa, financijskih učinaka i operativnog rizika. Cilj nije da osoba s jednakom sumnjom pregledava svaki generirani redak. Cilj je pružiti osobama koje pregledavaju izmjene dovoljno konteksta da se usredotoče na ono gdje su pogreške najvažnije.
Na kontekst gledajte kao na odluku o pristupu
Davanje više informacija asistentu može značiti i izlaganje više informacija. Prije povezivanja repozitorija, zapisa, zahtjeva ili produkcijskih sustava s radnim procesom koji koristi AI, odlučite što je potrebno za zadatak i čemu asistent smije pristupiti. Gdje je moguće, primijenite postojeće kontrole pristupa, izbjegavajte unos tajnih podataka u upite i razmotrite pravila zadržavanja i obrade podataka u alatima koji se koriste.
Dohvaćeni materijal može sadržavati i upute koje su u sukobu sa zahtjevom korisnika ili pravilima sustava. Komentar, dokument ili zapis dokaz je koji treba procijeniti, a ne automatski uputa koju agent treba slijediti. Isto načelo vrijedi i za radnje: samo čitanje vodiča za implementaciju ne daje ovlaštenje za implementaciju.
Ugradite kontinuirano prikupljanje konteksta u radni proces
Timovi se mogu postupno poboljšavati. Počnite sa zadatkom koji se ponavlja, poput ažuriranja API krajnje točke ili istraživanja testa koji ne prolazi. Dokumentirajte informacije koje su potrebne stručnom razvojnom programeru, omogućite asistentu pristup odgovarajućim izvorima i promatrajte gdje pretražuje, postavlja pitanja, donosi pretpostavke ili zapinje. Zatim poboljšajte vodič, dohvat informacija ili provjere ondje gdje na to upućuju dokazi.
Rezultat neće biti savršeno informiran stroj. Može to biti učinkovitije partnerstvo: asistent koji pronalazi relevantne dokaze, jasno iznosi svoje pretpostavke i predlaže izmjene koje ljudi mogu procijeniti. Novi izazov nije samo u tome koliko koda AI može napisati. Izazov je u tome koliko mu okolni sustav pomaže razumjeti što bi taj kod trebao raditi.