Повеќето проекти со ВИ не пропаѓаат затоа што моделот е слаб. Пропаѓаат затоа што системот околу него е нејасен: никој не ја дефинирал одлуката што треба да се подобри, недостига предавањето на човек, податоците се ненадежни или успехот се мери со импресивна демонстрација наместо со деловен исход.

Таа разлика е важна. Пишувањето промпт, повикувањето модел или додавањето интерфејс за разговор ретко е тешкиот дел. Вистинската работа е архитектурата: дизајнирање сигурен пат од влез, преку расудување и алатки, до дејство што е безбедно, набљудливо и корисно.

Почнете од исходот, не од моделот

Корисен ВИ-систем започнува со конкретна промена во начинот на кој се извршува работата. „Користете ВИ за корисничка поддршка“ е иницијатива. „Намалете го времето потребно за класифицирање и насочување добро разбрани барања за поддршка, притоа задржувајќи ескалација за неизвесни случаи“ е системска цел.

Втората рамка создава ограничувања за дизајнот. Таа му кажува на тимот што да автоматизира, што да им остави на луѓето, кои податоци се потребни и како изгледа неуспехот. Исто така, го задржува изборот на модел на неговото соодветно место: имплементациска одлука, а не стратегија.

Пред да изберете рамка за агенти или добавувач, дефинирајте четири работи:

• Задачата: Која повторлива задача на проценување, пребарување, составување нацрт или координација се подобрува?
• Последицата: Што се случува ако системот згреши, доцни или не е достапен?
• Границата: Кои дејства може да ги преземе самостојно, а за кои е потребно одобрување?
• Доказот: Како организацијата ќе знае дека системот помага?

На пример, внатрешен асистент за набавки може да ги сумира барањата, да идентификува информации што недостигаат и да подготви нацрт-споредба. Не треба тивко да одобрува трошење. Излезот е вреден токму затоа што ја скратува подготовката, а притоа ги задржува контролите соодветни за одлуката.

Размислувајте за ВИ како за една компонента во работен тек

Јазичните модели се добри во толкување неуреден јазик, синтетизирање информации и создавање структурирани нацрти. Тие не се бази на податоци, механизми за политики, трансакциски системи или непогрешливи извори на вистина. Добрите дизајни ја доделуваат секоја одговорност на компонентата што е најсоодветна за неа.

Практичниот работен тек често изгледа вака:

1. Примете настан, документ или барање од корисник.
2. Потврдете ги идентитетот, дозволите и основните барања за влез со конвенционален софтвер.
3. Преземете релевантен, одобрен контекст од доверливи системи.
4. Побарајте од моделот да класифицира, извлече, сумира или предложи дејство во ограничен формат.
5. Потврдете го резултатот со детерминистички правила.
6. Насочете го кон автоматизација, човечка проверка или безбедна резервна опција.
7. Забележете ги исходот и повратните информации за евалуација.

Ова е помалку гламурозно од автономен агент што изгледа дека прави сè, но е многу покорисно. Детерминистичката логика треба да ги спроведува дозволите за сметки, праговите за трошење, задолжителните полиња и деловните правила. Моделот треба да се справува со двосмисленоста околу тие правила: да толкува барање, да пронајде веројатен контекст или да состави јасен нацрт.

Ограничете ги излезите рано

Прозата во слободна форма е пријатна за читање за човек, но тешка за доверба за софтвер. Ако на надолен систем му требаат категорија, приоритет и проценка на сигурноста, побарајте ги тие полиња експлицитно и потврдете ги пред да дејствувате.

{
  "category": "billing | access | technical | other",
  "priority": "low | normal | high",
  "needs_human_review": true,
  "reason": "short explanation"
}

Шемата не го прави моделот точен. Таа ги прави неуспесите полесни за откривање, тестирање, евидентирање и обработка. Ако одговорот е нецелосен или неважечки, работниот тек може повторно да се обиде со потесна инструкција, да ја испрати ставката во редица или да побара појаснување од корисникот. Никогаш не треба да нагаѓа и така да стигне до неповратно дејство.

Дизајнирајте ги агентите околу ограничени овластувања

Агентот е корисен кога може да избира меѓу чекори во работен тек: да пребарува база на знаење, да прегледа запис, да побара информации што недостигаат или да подготви одговор. Станува ризичен кога „избери меѓу чекори“ незабележливо се претвора во „направи сè што изгледа корисно“.

Дајте им на агентите тесна мисија, мал сет алатки и експлицитни услови за запирање. Агент за тријажа на поддршка може да чита детали за тикети, да пребарува одобрена содржина за помош и да создаде нацрт-одговор. Не треба да добива произволни записи за клиенти, да менува сопственост на сметка или да издава поврати на средства, освен ако тие дејства не се намерно овластени и заштитени.

Секое повикување алатка треба да ги содржи истите грижи како и секоја друга продукциска интеграција: автентикација, овластување, валидација на влезот, временски ограничувања, ограничувања на стапката, идемпотентност каде што е применливо и ревизиско евидентирање. Третирајте ги аргументите за алатки генерирани од моделот како недоверлив влез. Моделот може да го разбере барањето погрешно, да преземе доведувачки во заблуда контекст или да биде под влијание на содржината со која се среќава.

Човечката проверка не е признание дека системот е недовршен. Таа е дизајнерски избор. Проверката е особено вредна за одлуки со големо влијание, нови работни текови, резултати со мала сигурност и исклучоци што откриваат каде автоматизацијата треба да се подобри.

Направете го преземањето информации производна способност, а не депонија на документи

Многу ВИ-апликации зависат од обезбедување релевантно внатрешно знаење во моментот на употреба. Квалитетот на тој контекст често е поважен од умешното формулирање на промпт. Ако политиките се застарени, документите се дуплирани или контролите за пристап се игнорираат, одговорот може да звучи угладено, а сепак да биде погрешен или несоодветен.

Изградете го преземањето информации околу сопственоста и животниот циклус. Идентификувајте авторитативни извори, зачувајте ги дозволите, освежувајте ја содржината кога политиките се менуваат и направете го преземениот материјал видлив кога корисниците треба да го потврдат. Краток одговор со врски до меродавниот материјал е подоверлив од самоуверен одговор без основа што може да се проследи.

Исто така, помага да се одвои преземањето знаење од инструкцијата. Документот може да биде корисен референтен материјал, но текстот во него не треба да смее да ги редефинира правилата на системот или да ги проширува неговите дозволи. Оваа едноставна граница го намалува ризикот недоверлива содржина да насочи агент подалеку од неговата наменета задача.

Евалуирајте го целиот систем

Само репер за модел не може да ви каже дали работниот тек со ВИ создава вредност. Евалуирајте ја целосната патека: квалитетот на преземањето информации, употребата на алатки, валидноста на излезот, латентноста, стапката на човечка проверка, оперативните грешки и конечниот деловен резултат.

Создадете мал, но реалистичен сет за евалуација пред пуштањето во употреба. Вклучете вообичаени барања, двосмислени случаи, нецелосни влезови, противничка или доведувачка во заблуда содржина и гранични случаи со сериозни последици. Дефинирајте што е добар резултат за секој од нив. Потоа извршувајте го системот повторно додека се менуваат промптовите, моделите, изворите на податоци и алатките.

Повратните информации од продукцијата ја комплетираат сликата. Прегледувајте каде луѓето ги поништуваат препораките, каде корисниците го напуштаат работниот тек и каде системот преминува на резервна опција. Тие случаи не се само дефекти; тие се мапата за подобрување на процесот, усовршување на UI или одлучување дека некоја задача треба да остане водена од човек.

Усвојувањето е системски проблем

Најдобрата ВИ-способност е залудна ако пристигне како уште еден неповрзан екран или бара од луѓето да го заобиколат својот воспоставен процес. Вградете ја таму каде што работата веќе се одвива, покажете што користела како контекст и направете ја исправката полесна од почнувањето одново.

На тимовите им требаат и јасни оперативни очекувања. Кој е сопственик на промптовите и сетот за евалуација? Кој одобрува нови алатки или дејства? Кој реагира кога се менува изворен систем? Кој може да ја паузира автоматизацијата? Овие прашања звучат оперативно затоа што се такви. Одговорното усвојување се одржува со сопственост, а не со соопштение за лансирање.

Градете за потпора, не за спектакл

Најтрајните ВИ-системи ретко наликуваат на научна фантастика. Тие го отстрануваат триењето од вистинската работа: претворање расфрлани информации во корисен преглед, составување прв одговор, наоѓање на соодветната политика, откривање нецелосни барања или помагање на експерт да се фокусира на исклучоците што бараат проценка.

Тоа е можноста надвор од кодот. ВИ ја менува софтверската работа не со елиминирање на потребата од инженерство, туку со зголемување на вредноста на промислениот дизајн на системот. Тимовите што ќе победат нема да бидат оние што најбрзо ќе додадат модел. Ќе бидат оние што ја поврзуваат интелигенцијата со јасни исходи, доверливи податоци, ограничени дејства и одговорни човечки одлуки.