Контекстот на вашиот код е следната граница на вештачката интелигенција
Асистент за програмирање со вештачка интелигенција може за неколку секунди да објасни функција, а сепак да направи погрешна измена. Проблемот често не е во самата функција. Тој е во информациите околу неа: недокументирано деловно правило, политика за повторни обиди во друга услуга, тест-податок што отсликува стар договор или ограничување при пуштањето во продукција што никогаш не било забележано во репозиториумот.
Тие околни информации го сочинуваат контекстот на кодот и стануваат пресуден фактор за тоа колку корисна може да биде вештачката интелигенција во развојот на софтвер. Подобрите модели се важни, но способен модел што работи со нецелосен или погрешен контекст може да даде добро срочен одговор на погрешен проблем. Следниот предизвик е да им се помогне на системите со вештачка интелигенција да ги најдат, протолкуваат и употребат вистинските докази во вистинскиот момент.
Контекстот е повеќе од голем промпт
Програмерите често го замислуваат контекстот како датотеки вметнати во разговор. Во практиката, тој опфаќа неколку слоја: изворен код и тестови, архитектонски одлуки, API договори, оперативни ограничувања, безбедносни барања и причината поради која е побарана измена. Дел од тие информации се наоѓаат во репозиториумот; други се во системи за следење задачи, документација, логови или во знаењето на луѓето што го одржуваат системот.
Да разгледаме барање за додавање повторни обиди при операција за плаќање. Кодот на кој директно се однесува измената можеби овозможува лесно додавање уште еден обид. Важниот контекст е дали операцијата е идемпотентна, како давателот на платежната услуга постапува со дупликатни барања, по кои неуспеси е безбедно да се направи повторен обид и како истекувањето на времето за одговор се разликува од потврден неуспех. Без тие факти, асистентот би можел да го направи системот поотпорен на мрежни грешки, а притоа да овозможи двојни наплати.
Повеќе текст не значи автоматски подобар контекст. Огромна количина слабо поврзани датотеки може да го затскрие пресудното ограничување. Корисниот контекст е внимателно избран, ажуриран, со јасно наведен извор и поврзан со задачата.
Дајте му на асистентот карта пред да побарате насока
Добра почетна точка е концизен водич за репозиториумот. Тој треба да објасни како е организиран системот, каде се важните граници меѓу неговите делови, како се извршуваат релевантните проверки и кои конвенции имаат конкретни последици. Нека биде доволно краток за да може да се одржува и доволно конкретен за да го насочи однесувањето на асистентот.
На пример, „пишувај чист код“ нуди малку насоки. „Измените на јавното API мора да ги зачуваат постојните полиња во одговорот, освен ако договорот не е изрично изменет“ му дава на асистентот ограничување што може да го примени. Упатувањето на договорот и неговите тестови ја олеснува проверката на тоа ограничување.
И описите на задачите се подобри кога имаат јасна структура. Наведете го посакуваното однесување, релевантните граници и што би се сметало за доказ за успех. Барање како „поправи ја грешката при најавување“ остава премногу простор за претпоставки. Подобро барање ги наведува забележаниот проблем, очекуваното однесување, засегнатата околина и сите познати ограничувања при неговото репродуцирање.
Не претворајте го водичот во енциклопедија. Документација што е во спротивност со кодот или опишува застарен процес на пуштање во продукција може да биде полоша отколку воопшто да нема насоки. Доделете одговорност за неа, прегледувајте ја кога системот се менува и јасно означете го она што е неизвесно.
Прибирајте докази како што напредува работата
Кај поголеми бази на код, нереално е однапред да се изберат сите релевантни датотеки. Наместо тоа, агентот може да работи во фази: да го разгледа барањето, да ги лоцира веројатните влезни точки, да ги следи референците, да ги прочита поврзаните тестови и да прибере повеќе докази кога ќе наиде на непозната граница меѓу делови од системот. Важната дизајнерска одлука е пребарувањето да служи за одговор на конкретно прашање.
Ако асистентот го менува начинот на затворање корисничка сметка, најпрво може да ја најде крајната точка и нејзините тестови. Потоа треба да ги испита последиците врз другите делови од системот: претплатите, записите што се задржуваат, проверките за овластување и настаните што ги користат други услуги. Секое откритие може да одреди што треба да се испита понатаму. Резултатот од пребарувањето е трага, а не доказ дека е разбрано поврзаното однесување.
Системите за пребарување можат да помогнат со пребарување на кодот и документацијата, но имаат ограничувања. Документ со слично значење може да биде застарен, а пребарувањето точно совпаѓање на текст може да пропушти поим опишан под друго име. Зачувајте ги патеките до датотеките и другите информации за изворот заедно со пронајдените извадоци, за асистентот и лицето што го прегледува резултатот да можат да ги проверат во контекст. Кога изворите не се согласуваат, системот треба да го истакне несогласувањето наместо тивко да го избере најзгодниот одговор.
Оставете простор за проверка и неизвесност
Контекстот треба да ја насочува измената, а проверката треба критички да ја преиспита. Релевантните тестови, проверките на типови, статичката анализа и прегледот на добиените разлики во кодот можат да откријат грешки што убедливото објаснување ги прикрива. Соодветните проверки зависат од измената: изменета миграција на база на податоци бара поинаков преглед од уредување текст, а успешно поминат единичен тест не докажува дека пуштањето во продукција ќе успее.
Агентите треба да известат што навистина провериле и да ги разликуваат забележаните резултати од претпоставките. Ако некој тест не можел да се изврши, тоа е корисна информација за лицето што го прегледува резултатот. Ако некое барање е двосмислено и две имплементации би имале суштински различни последици, асистентот треба да ја посочи одлуката што треба да се донесе наместо да претстави претпоставка како факт.
Човечкиот преглед останува особено вреден во области каде што самиот код не може да го разреши прашањето: намерата зад производот, задржувањето податоци, контролата на пристап, финансиските последици и оперативниот ризик. Целта не е човек да го проверува секој генериран ред со еднаква недоверба. Целта е на лицата што го прегледуваат резултатот да им се даде доволно контекст за да го насочат вниманието таму каде што грешките се најважни.
Третирајте го контекстот како одлука за пристап
Давањето повеќе информации на асистентот може да изложи и повеќе информации. Пред да поврзете репозиториуми, логови, тикети или продукциски системи со работен процес со вештачка интелигенција, одлучете што бара задачата и до што му е дозволено да пристапи на асистентот. Применете ги постојните контроли за пристап каде што е можно, избегнувајте да внесувате тајни податоци во промптови и земете ги предвид правилата за задржување и ракување со податоци на вклучените алатки.
Пронајдениот материјал може да содржи и инструкции што се во спротивност со барањето на корисникот или со правилата на системот. Коментар, документ или запис во лог е доказ што треба да се процени, а не автоматски инструкција што агентот треба да ја следи. Истото начело важи и за дејствата: читањето водич за пуштање во продукција само по себе не го овластува агентот да го изврши тоа пуштање.
Вградете циклус за контекст во работниот процес
Тимовите можат постепено да се подобруваат. Започнете со задача што се повторува, како ажурирање API крајна точка или испитување тест што не поминува. Документирајте ги информациите што му се потребни на компетентен програмер, дајте му на асистентот пристап до соодветни извори и набљудувајте каде пребарува, прашува, претпоставува или заглавува. Потоа подобрете ги водичот, пребарувањето или проверките таму каде што укажуваат доказите.
Резултатот нема да биде совршено информирана машина. Тој може да биде поефективно партнерство: асистент што наоѓа релевантни докази, јасно ги покажува своите претпоставки и предлага измени што луѓето можат да ги проценат. Следниот предизвик не е само колку код може да напише вештачката интелигенција. Тој е и колку добро системот околу неа ѝ помага да разбере што треба да прави тој код.