Alate za kodiranje uz pomoć AI-ja lako je odbaciti kao automatsko dovršavanje s boljim marketingom. Takvo gledište propušta mjesto na kojem se pojavljuje stvarna vrijednost: ne u traženju od modela da napiše cijelu aplikaciju, nego u povjeravanju ograničenog, ponovljivog dijela inženjerskog rada agentu koji može pregledati kontekst, poduzeti radnje i izvijestiti o onome što se dogodilo.

Razlika je važna. Chat asistent odgovara na pitanja. Agent radi na cilju koristeći alate, povratne informacije i ograničenja. Može pročitati zadatak, pretražiti repozitorij, pokrenuti test, pripremiti zakrpu i zaustaviti se kada provjera ne uspije. To ga ne čini autonomnim u smislu zamjene inženjerske prosudbe. Čini ga korisnim na isti način na koji je koristan dobar cjevovod za izgradnju: pretvara rutinski proces u nešto dosljedno, vidljivo i lakše za nadziranje.

Započnite s tijekovima rada, a ne velikim ambicijama

Najpouzdaniji projekti s agentima započinju frustrirajućim, ali dobro definiranim tijekom rada. „Poboljšaj našu bazu koda” nije izvediv zadatak. „Pronađi neuspjele jedinične testove nakon ažuriranja ovisnosti, klasificiraj neuspjehe i predloži najmanji kompatibilni popravak” mnogo je bolje.

Praktičnom agentu potreban je jasan ulaz, ograničen skup dopuštenih radnji, definicija dovršenosti i put eskalacije. Ako je bilo što od toga nejasno, sustav će to nadoknaditi nagađanjima. Nagađanja su prihvatljiva u nacrtu; opasna su pri implementaciji ili promjeni produkcijskih podataka.

Dobri početni kandidati obično imaju tri obilježja: često se događaju, slijede prepoznatljive obrasce i čovjek može brzo pregledati izlaz.

• Trijaža novoprijavljenih grešaka i traženje nedostajućih pojedinosti za reprodukciju.
• Sažimanje promjena u zahtjevima za spajanje i prepoznavanje datoteka koje zaslužuju usmjeren pregled.
• Izrada prve verzije napomena uz izdanje na temelju spojenih promjena.
• Ažuriranje dokumentacije kada se otkrije odobrena promjena sučelja.
• Istraživanje neuspjeha testova i prikupljanje relevantnih zapisa, razlika i vjerojatnih vlasnika.

Ovi tijekovi rada vrijedni su jer agent smanjuje pripremni rad. Programer i dalje odlučuje je li dijagnoza ispravna, zakrpa točna i promjenu treba li isporučiti.

Oblikujte agenta oko dokaza

Najbolji agenti za kodiranje ne zvuče samouvjereno; oni samouvjerenost čine provjerljivom. Njihov izlaz trebao bi odvojiti uočene činjenice od zaključaka i predloženih radnji. To je mala dizajnerska odluka s velikom operativnom koristi. Recenzentima daje brz način da provjere zaključivanje bez tretiranja proze kao dokaza.

Korisna operativna petlja

Robusna petlja je jednostavna: prikupite kontekst, oblikujte hipotezu, poduzmite povratnu radnju, provjerite rezultat te nastavite ili eskalirajte. Agent bi trebao sačuvati artefakte iz svake faze: pokrenute naredbe, promijenjene datoteke, izlaz testova i neodgovorena pitanja.

Cilj: Riješiti neuspjeli test nakon nadogradnje biblioteke

1. Pročitajte izlaz neuspjelog testa.
2. Pregledajte promijenjenu verziju ovisnosti i relevantna mjesta poziva.
3. Predložite minimalnu zakrpu.
4. Pokrenite ciljani test.
5. Pokrenite povezani skup testova.
6. Ako provjera ne uspije, zaustavite se i prijavite dokaze.

Ovo je namjerno manje dramatično od „automatski popravi sve”. Također je mnogo vjerojatnije da će biti pouzdano. Agent koji se zaustavi s korisnim izvješćem često je vrijedniji od onoga koji nastavlja pokušavati dok ne stvori veliku, zbunjujuću razliku.

Dajte agentima uska dopuštenja

Pristup alatima mjesto je na kojem agent postaje operativno koristan, ali i mjesto na kojem rizik brzo raste. Čitanje izvornih datoteka razlikuje se od stvaranja grana. Stvaranje grana razlikuje se od izmjene infrastrukture. Izmjena infrastrukture razlikuje se od njezine implementacije.

Primjenjujte načelo najmanjih ovlasti kao značajku proizvoda, a ne samo kao sigurnosnu politiku. Počnite s pristupom samo za čitanje gdje je to moguće. Dopustite pisanje samo u izoliranim granama ili privremenim radnim prostorima. Zahtijevajte izričito odobrenje za radnje koje utječu na dijeljena okruženja, vjerodajnice, podatke kupaca, naplatu ili produkcijski promet.

Također pomaže jasno navesti dopuštene radnje u samom zadatku. Umjesto da kažete „ažuriraj uslugu”, navedite da agent smije uređivati aplikacijski kod, pokrenuti skup testova i otvoriti nacrt zahtjeva za spajanje, ali ne smije spajati, implementirati, rotirati tajne ni mijenjati kontrole pristupa. Jasne granice smanjuju slučajno proširenje opsega i olakšavaju obuzdavanje neuspjeha.

Koristite modele za prosudbu, alate za istinu

Jezični model dobar je u tumačenju dvosmislenog jezika, organiziranju mogućnosti i sastavljanju objašnjenja. Nije izvor istine o trenutnom repozitoriju, okruženju za izgradnju ili ponašanju tijekom izvođenja. Te činjenice moraju dolaziti iz alata i autoritativnih sustava.

Ova podjela vodi zdravom obrascu implementacije. Neka model odluči što sljedeće pregledati, ali zahtijevajte da to pregleda. Neka predloži naredbu, ali zabilježite izlaz naredbe. Neka sastavi promjenu koda, ali pokrenite relevantne provjere prije nego što prikažete uspjeh.

Primjerice, agent koji pregledava migraciju baze podataka ne bi smio tvrditi da je upit siguran zato što se čini razumnim. Može prepoznati potencijalne probleme s zaključavanjem ili kompatibilnošću, a zatim zahtijevati validaciju u pripremnom okruženju i plan uvođenja koji je odobrio čovjek. Model pruža strukturiranu pozornost; okruženje pruža dokaze.

Izgradite putanje neuspjeha prije uspješnih putanja

Mnoge demonstracije agenata prikazuju jedno uspješno izvođenje. Produkcijski tijekovi rada moraju odgovoriti na manje glamurozna pitanja: Što se događa kada naredba za testiranje prekorači vrijeme? Što ako pretraga repozitorija vrati previše konteksta? Što ako model ne može odrediti sljedeći siguran korak? Što ako poziv alata uspije, ali rezultat je nepotpun?

Postavite ograničenja za ponovne pokušaje, proteklo vrijeme, promijenjene datoteke i opseg naredbi. Ponovni pokušaj trebao bi imati razlog, poput prolaznog mrežnog kvara ili privremeno nedostupne usluge. Ponavljanje iste neuspjele radnje bez novih informacija nije ustrajnost; to je potrošeno računalno vrijeme i šum.

• Zaustavite se nakon ograničenog broja pokušaja.
• Zabilježite posljednji uspješan korak i točan izlaz neuspjeha.
• Vratite sažet prijenos s preporučenim sljedećim radnjama.
• Zahtijevajte ljudsku provjeru kada rizik ili neizvjesnost prijeđu definirani prag.

Ove zaštitne mjere čine agente smirenijima pod pritiskom. Također olakšavaju usvajanje jer inženjeri mogu razumjeti kako se sustav ponaša kada ne zna odgovor.

Mjerite tijek rada, a ne spektakl

Uspjeh nije broj zadataka kojih se agent dotakne. Mjerite skraćuje li vrijeme do korisnih informacija, smanjuje li repetitivnu koordinaciju, poboljšava li kvalitetu pregleda ili sprječava poznate vrste pogrešaka. Pratite stope prihvaćanja i ispravljanja izlaza agenta. Ako recenzenti rutinski prepisuju njegove sažetke ili odbacuju njegove zakrpe, tijeku rada potreban je bolji kontekst, uži opseg ili drukčija razina automatizacije.

Držite kanal za ljudske povratne informacije blizu rada. Jednostavan ishod „prihvaćeno”, „uređeno” ili „odbijeno”, popraćen kratkim razlogom kada je to praktično, korisniji je od općenitih tvrdnji da je agent koristan. S vremenom ti ishodi otkrivaju gdje je potrebna pažnja u uputama, alatima i dizajnu procesa.

Trajna prednost je bolja inženjerska praksa

Praktični agenti nagrađuju timove koji već cijene testove, male promjene, vidljive sustave i izričito vlasništvo. To nije ograničenje; to je poanta. AI razotkriva nejasne procese jer joj se mora reći ono što bi pažljiv inženjer inače zaključio iz zajedničkog konteksta.

Pitanje koje vrijedi postaviti nije može li agent pisati kod. Pitanje je može li odgovorno pomaknuti stvarni tijek rada od „netko bi trebao pogledati ovo” do „evo dokaza, predloženog sljedećeg koraka i rezultata provjere”. Gradite za taj skroman, ali smislen ishod. Hype brzo nestaje; pouzdan tijek rada nastavlja se isplaćivati.