Повеќето софтверски тимови пристапуваат кон ВИ како кон функција што треба дополнително да се прикачи: да се додаде поле за разговор, да се сумира документ, да се состави е-пошта, да се класифицира тикет. Тоа може да бидат корисни подобрувања. Но потрајната можност е поинаква: да се изгради софтвер што ги учи ВИ-системите како навистина се одвива вашата работа.

Тоа значи апликацијата да не се третира само како потрошувач на излезот од моделот, туку како извор на структуриран контекст, повратни информации, ограничувања и исходи. Корисен ВИ-систем не станува сигурен затоа што неговиот промпт е елоквентен. Станува сигурен затоа што софтверот што го опкружува му дава јасна задача, соодветни докази, безбедни граници и начин да научи како изгледа „доброто“.

На ВИ ѝ треба работно место, не само промпт

Јазичниот модел е способен да создава уверлив текст, код, планови и класификации. Тој сам по себе не е свесен за вашите клиенти, правилата за производот, тековниот инвентар, безбедносната политика или вашата дефиниција за завршена задача. Тие детали живеат во системи, работни текови и луѓе.

Кога некоја ВИ-функција ќе потфрли, причината често му се припишува на моделот. Во пракса, неуспехот може да е архитектонски: од моделот било побарано да одлучи без доволно контекст, му било дозволено да дејствува без валидација или бил оценуван само според тоа дали неговиот одговор звучел убедливо.

Софтверот што ја учи ВИ ја прави работната средина експлицитна. Тој обезбедува:

• Релевантни информации што ги земаат предвид дозволите, наместо неразличена маса од податоци.
• Алатки со тесни, разбирливи можности.
• Јасни политики за тоа што системот смее да препорача, измени или ескалира.
• Сигнали за повратни информации поврзани со реални исходи.
• Набљудливост за влезови, одлуки, повици на алатки, неуспеси и исправки.

Ова е помалку гламурозно од демонстрирање паметен промпт, но тука се создаваат сигурни системи.

Претворете го премолченото знаење за работниот тек во употреблив контекст

Искусните луѓе често донесуваат одлуки користејќи знаење што ретко се запишува. Специјалист за поддршка знае кои детали за сметката се важни пред да измени претплата. Менаџер за изданија препознава дека неуспешна проверка е безопасна во една гранка, а блокирачка во друга. Финансиски ревизор знае дека фактурата треба да се доведе во прашање кога неколку мали детали си противречат.

ВИ не може безбедно да го заклучи сето тоа од кратко барање. Вашиот софтвер мора да го изложи контекстот за одлучување во форма што моделот може да ја користи.

Разгледајте агент што му помага на персоналот за поддршка да решава прашања за наплата. Слаб дизајн ја испраќа пораката на клиентот до модел и бара одговор. Посилен дизајн ги составува планот на сметката, статусот на фактурата, неодамнешните настани за плаќање, применливата политика за поврат на средства, историјата на разговорот и дозволите на агентот за поддршка. Потоа од моделот бара да создаде структурирана препорака, а не неповратно дејство.

{
  "recommended_action": "request_review",
  "reason": "The charge is settled, but the requested refund exceeds the self-service window.",
  "customer_reply": "I can help get this reviewed by our billing team.",
  "required_evidence": ["invoice_4812", "refund_policy_v3"]
}

Апликацијата може да ги валидира полињата, да ги прикаже доказите и да бара човечко одобрување пред да започне каков било работен тек поврзан со поврат на средства. Моделот придонесува со расудување и комуникација; околниот систем останува одговорен за овластувањето и точноста.

Дизајнирајте ги алатките како договори

Употребата на алатки е местото каде што ВИ-помошникот станува оперативен. Тој може да пребарува записи, да создава задачи, да ажурира статус, да активира работен тек или да презема документација. Таа моќ треба да се дизајнира со истата грижа како и секое јавно API.

Секоја алатка треба да има тесна намена, експлицитни влезни типови, предвидлив излез и овластување што се спроведува надвор од моделот. Избегнувајте широка алатка наречена run_any_query или update_record кога помала алатка како get_order_summary или create_refund_review побезбедно го изразува наменетиот работен тек.

Малите алатки подобруваат повеќе од безбедноста. Тие го прават однесувањето на агентот полесно за тестирање и дебагирање. Ако помошникот избере погрешно дејство, можете да проверите дали избрал погрешна алатка, пренел лоши аргументи, немал информации или погрешно ја разбрал задачата. Тоа е многу потешко кога секое дејство е скриено зад интерфејс за општа намена.

Одделете го предлогот од извршувањето

Не секое дејство заслужува ист пат на одобрување. На системот може да му биде дозволено автоматски да состави одговор, додека изменувањето права за пристап или испраќањето пари бара потврда. Воспоставете ги овие нивоа намерно:

• Информирај: сумирај, објасни, преземи и состави.
• Препорачај: предложи план или промена што некој треба да ја одобри.
• Изврши со проверки: изврши нискоризични, повратни дејства по детерминистичка валидација.
• Ескалирај: пренеси одлуки што вклучуваат нејаснотии, исклучоци од политиката или значително влијание.

Овој модел ги штити корисниците, притоа зачувувајќи го замавот. Тој исто така го учи ВИ-системот каков вид помош е соодветен во секоја ситуација.

Повратните информации мора да ја одразуваат вистинската работа

Контролите за позитивна и негативна оцена се корисни, но не се доволни. Корисникот може да одобри течен одговор што сепак довел до лош оперативен исход. Обратно, претпазливиот одговор може да биде помалку елегантен, но правилно да спречи скапа грешка.

Дефинирајте го успехот на јазикот на работниот тек. За помошник за кодирање, тоа може да вклучува дали предложената промена ги поминува тестовите, се вклопува во конвенциите на репозиториумот и е прифатена по преглед. За работен тек за обработка на документи, тоа може да вклучува точност на полињата, стапки на исклучоци и колку често човек ја коригира екстракцијата. За интерен асистент за знаење, тоа може да вклучува квалитет на цитати, стапка на решавање и зачестеност на неподдржани тврдења.

Собирајте исправки таму каде што луѓето веќе работат. Ако ревизор измени класификација генерирана од ВИ, зачувајте ја конечната класификација и причината, кога е практично. Ако предложениот план на агентот биде одбиен, зачувајте ја релевантната состојба и категоријата на одбивање. Овие примери стануваат подобра основа за евалуација, усовршување на промптовите, подобрувања на пребарувањето и, на крајот, приспособување на моделот таму каде што е оправдано.

Не претпоставувајте дека собирањето повеќе податоци автоматски е подобро. Задржувајте само она што е неопходно, почитувајте ги границите на пристап и направете ги чувствителните информации видливи само за системите и луѓето што се овластени да ги користат.

Вградете евалуација во испораката

Однесувањето на ВИ се менува кога се менуваат промптовите, алатките, моделите, изворите за пребарување и политиките. Третирајте ги тие промени како промени во продукција.

Создадете компактен сет за евалуација од репрезентативни случаи: вообичаени барања, тешки гранични случаи, нецелосни информации, конфликтни записи, противнички инструкции и сценарија што треба да резултираат со ескалација. За секој случај, дефинирајте како изгледа прифатлив исход. Понекогаш тоа значи точна вредност на поле. Често значи рубрика: користете одобрени извори, избегнувајте неподдржани тврдења, изберете овластена алатка или побарајте појаснување.

Потоа тестирајте го системот од почеток до крај. Моделот може да создаде одличен план, но да потфрли затоа што шемата на алатката отфрла аргумент. Слојот за пребарување може да врати точни документи што моделот погрешно ги применува затоа што на документите им недостигаат датуми или метаподатоци за сопственост. Сигурноста произлегува од целосниот циклус, не од квалитетот на моделот во изолација.

Трајната предност е подобар софтвер

Градењето софтвер што ја учи ВИ има продуктивен нусефект: ги принудува тимовите да ги разјаснат сопствените процеси. Идентификувате нејасни политики, дупликати податоци, нејасна сопственост, небезбедни кратенки и одлуки што функционираат само затоа што неколку експерти паметат скриени правила.

Таа работа се исплаќа и кога не е вклучен никаков модел. Истите структурирани работни текови, добро дефинирани алатки, ревизорски траги и сигнали за квалитет ги подобруваат автоматизацијата, воведувањето во работа и оперативната отпорност.

Најдобрите ВИ-системи нема да бидат оние што изгледаат најчовечки. Ќе бидат оние што ја прават човечката стручност разбирлива, ја зачувуваат одговорноста и стануваат покорисни додека вистинската работа ги учи што е важно. Градете за тој циклус, и ВИ престанува да биде новина наслоена врз вашиот производ. Таа станува способен учесник во систем дизајниран да учи.