AI (Вештачка Интелигенција)

Beyond the Prompt: Designing AI's Indispensable Knowledge Source

Надвор од поттикот: Дизајнирање на неопходниот извор на знаење за ВИ

Повеќето неуспеси на ВИ не се неуспеси на промптови. Тие се неуспеси на знаење.

Моделот може за неколку секунди да напише чист код, да сумира документ, да состави одговор до клиент или да испланира работен тек. Но кога му недостига вистинскиот контекст, неговата самодоверба станува обврска. Може да произведе нешто течно, уверливо и целосно неусогласено со системите, правилата и одлуките што навистина се важни.

Трајната предност кај применетата ВИ ретко е паметен шаблон за промпт. Таа е во дизајнирањето на доверлив извор на знаење што на моделите им ги дава вистинските информации, во вистинско време, со јасни граници за тоа на што треба да му веруваат.

Промптовите поставуваат насока; знаењето ја поставува реалноста

Промптот ѝ кажува на ВИ што сакате. Изворот на знаење ѝ кажува што е вистинито во вашата средина.

Разгледајте инженерски асистент од кого се бара да дијагностицира грешка во продукција. Добро напишан промпт може да побара претпазливост, да побара хипотези и да наложи предложен план за враќање на претходна состојба. Тоа е корисно. Но не може да надомести недостасувачка историја на распоредувања, недокументирани промени во конфигурацијата, застарени оперативни упатства или нецелосни податоци за сопственоста на услугите.

Истото важи и надвор од софтверот. На продажен асистент му се потребни одобрени детали за производот и тековна комерцијална политика. На асистент за поддршка му се потребни точни материјали за отстранување проблеми и правила за ескалација. На истражувачки асистент му се потребни изворни документи со датуми, потекло и опфат.

Без оваа основа, тимовите често реагираат така што ги прават промптовите подолги. Додаваат повеќе упатства, повеќе исклучувања, повеќе примери и повеќе предупредувања. На крајот, промптот станува кревок документ со политики кој е тешко да се прегледа и уште потешко да се одржува.

Ставете ги стабилните факти во управуван систем за знаење, а не во растечки промпт. Промптовите треба да ја изразуваат улогата, задачата, форматот и ограничувањата за расудување. Системите за знаење треба да ја содржат променливата реалност на бизнисот и неговиот софтвер.

Што го прави изворот на знаење незаменлив

Незаменлив извор на знаење не е само папка со документи поврзана со четбот. Тоа е систем што им помага на луѓето и на ВИ да пронаоѓаат информации со доволно контекст за да постапуваат одговорно.

За тоа е потребно повеќе од пребарување. Потребен е намерен дизајн низ неколку димензии:

  • Авторитет: Секој важен документ треба да има препознатлив сопственик или извор на вистина.
  • Актуелност: На информациите им е потребен ритам на прегледување, датум на стапување во сила или јасен сигнал дека можеби се застарени.
  • Опфат: Системот треба да разликува политика од насоки, тековна архитектура од историски белешки и јавен материјал од ограничен материјал.
  • Структура: Информациите треба да бидат поделени на делови и означени, за пребарувањето да може да го зачува значењето наместо да враќа изолирани фрагменти.
  • Контрола на пристап: ВИ треба да презема само информации што корисникот што ги бара има право да ги види.
  • Набљудливост: Тимовите треба да знаат кои извори биле преземени, каков одговор бил генериран и каде несигурноста влегла во процесот.

Овие квалитети го прават системот корисен и за луѓето. Ако човек не може да утврди кое оперативно упатство е тековно, ВИ нема сигурно да ја реши таа двосмисленост.

Почнете со одлуки, а не со документи

Честа грешка е да се почне со голем проект за внесување: да се увезе секоја вики-страница, тикет, PDF, складиште и извоз од разговор. Ова создава обем, но не нужно и вредност. Може и да ги засили старите одлуки и спротивставените совети.

Подобра почетна точка е да се идентификуваат одлуките или задачите кај кои доверливиот контекст го менува исходот.

На пример, платформски тим може да им даде приоритет на овие прашања:

  • Која услуга е сопственик на оваа крајна точка и кој е дежурен?
  • Кој е одобрениот пат за распоредување за оваа средина?
  • Кои вредности на конфигурацијата е безбедно да се променат без миграција?
  • Кои познати начини на неуспех важат за оваа зависност?
  • Кога инцидентот мора да се ескалира наместо автоматски да се отстрани проблемот?

Секое прашање открива потреба од знаење. Податоците за сопственоста може да припаѓаат во каталог на услуги. Правилата за распоредување може да припаѓаат во верзионирана документација. Познатите начини на неуспех може да бидат поврзани со записи за инциденти и оперативни упатства. Целта не е ВИ да „знае сè“. Таа е да ѝ се овозможи да ги лоцира и објасни доказите релевантни за ограничена одлука.

Дизајнирајте за единици за преземање

Долгите документи често се напишани за линеарно читање, додека ВИ-преземањето најдобро функционира со помали, самостојни единици. На пример, корисен дел од оперативно упатство треба да ги идентификува услугата, средината, симптомот, предусловите, безбедните дејства, чекорите за валидација и условите за ескалација.

Споредете ги овие два стила:

Рестартирајте го worker-от ако обработката заглави.

Ова упатство е опасно бидејќи изоставува услови. Подобра единица за преземање би објаснила кој worker, како да се потврди симптомот, кои задачи може да бидат прекинати, дали рестартирањето е дозволено за време на одржување и кога наместо тоа да се повика тимот сопственик.

Вредноста не е во многусловноста. Таа е во оперативната целосност.

Дајте му на моделот докази, не само одговори

Во работни текови со високи последици, моделот треба да може да ја покаже основата за својата препорака. Ова не значи изложување на внатрешното расудување. Значи презентирање корисни докази: наслови на документи, релевантни извадоци, датуми на стапување во сила и врски до авторитетниот извор каде што е соодветно.

Доказите ја менуваат интеракцијата од „асистентот вели“ во „овие одобрени материјали ја поддржуваат оваа препорака“. Тоа го забрзува прегледот и гради калибрирана доверба. Исто така открива празнини. Ако преземањето врати стар водич за миграција и понова архитектонска одлука, конфликтот станува видлив наместо тивко да се спои во исполиран одговор.

Кога доказите се слаби, ВИ треба да го каже тоа. Добар систем може да одговори со: „Најдов насоки за средината за тестирање, но не и за продукција. Еве ја постапката за тестирање; потребно е одобрување за продукција пред да се продолжи.“

Тоа не е неуспех на автоматизацијата. Тоа е одговорна автоматизација.

Одделете го советот од дејството

ВИ заснована на знаење станува особено вредна кога поддржува агенти што можат да преземаат дејства. Но пристапот до информации не треба автоматски да стане дозвола за менување системи.

Практичен образец е работниот тек да се оддели во фази:

  1. Преземете го релевантното, овластено знаење.
  2. Генерирајте предложена дијагноза или план со придружни докази.
  3. Валидирајте ги предусловите и ограничувањата на политиката.
  4. Побарајте одобрување кога тоа го бараат ризикот, опфатот или несигурноста.
  5. Извршете тесно дефинирано дејство.
  6. Забележете го резултатот и вратете ги трајните поуки во базата на знаење.

Овој образец е корисен без разлика дали дејството е отворање тикет, менување конфигурациски знаменце, составување одговор на договор или активирање распоредување. Агентот треба да има најмал можен практичен збир на дозволи, а неговите дејства треба да бидат следливи.

Автоматизацијата е најсилна кога ја намалува рутинската координација, а ја зачувува човечката одговорност за расудување со последици.

Мерете го системот таму каде што се одвива работата

Не судете за ВИ-систем овозможен со знаење само според тоа дали неговите одговори звучат корисно. Оценувајте го според реални задачи.

Создадете мал тест-збир од репрезентативни прашања, вклучително и двосмислени случаи, замки со застарени документи, случаи со недостасувачки информации и барања што треба да бидат одбиени или ескалирани. Прегледајте дали системот презел авторитетен материјал, дали правилно го навел, дали ги следел ограничувањата за пристап и дали избегнал непоткрепени тврдења.

Потоа набљудувајте го однесувањето во продукција. Повторените дополнителни прашања може да укажуваат на слабо преземање. Честите исправки може да откријат недостасувачка сопственост или застарена содржина. Одговорите без корисни докази може да сигнализираат дека системот премногу се потпира на општото знаење на моделот.

Овие сигнали треба да поттикнуваат подобрувања во документацијата и дизајнот на системот, а не само измени на промптовите.

Изворот на знаење станува производот

Најспособните ВИ-системи сè повеќе ќе се оценуваат според квалитетот на контекстот што можат безбедно да го користат. Моделите ќе се подобруваат, интерфејсите ќе се менуваат, а обрасците за промптови ќе се развиваат. Но одржувано тело на доверливо знаење, поврзано со работата што ја регулира, акумулира вредност.

Изградете ја таа основа со истата грижа што се користи за продукциски софтвер: јасна сопственост, верзионирање, тестирање, контрола на пристап и повратни јамки. Тогаш ВИ веќе не е импресивен генератор на текст што бара релевантност. Таа станува доверлив учесник во начинот на кој вашата организација разбира, одлучува и се подобрува.

Портрет на автор на блогот

Mihajlo

Јас сум Михајло - развивач поттикнат од љубопитност, дисциплина и постојаната желба да создадам нешто значајно. Споделувам увиди, упатства и бесплатни услуги за да им помогнам на другите да ја поедностават својата работа и да растат во постојано развивачкиот свет на софтверот и вештачката интелигенција.