Функција заснована на вештачка интелигенција може во понеделник да даде брилијантен одговор, а во петок да ја направи истата грешка што можела да се избегне. Разликата меѓу уверлива демонстрација и систем што се подобрува ретко се сведува само на моделот. Таа е во начинот на кој е осмислен системот околу моделот: што набљудува, како ги оценува резултатите и кои промени смее да ги прави.

Таа разлика е важна затоа што зборот „учење“ има повеќе значења. Моделот може да учи преку тренирање, но и апликацијата може да се подобрува со ажурирање на индексот за пребарување, доработување на промптот, менување на работниот тек или насочување на тешките случаи кон човек. Ниту една од тие промени не бара моделот да ги менува сопствените тежини. За секоја од нив сепак се потребни докази и контрола.

Почнете од одлуката, а не од моделот

Пред да изберете архитектура, опишете ја одлуката што системот треба да ја поддржи и последиците ако таа биде погрешна. Алатка што предлага ознаки за внатрешни документи има поинаков профил на ризик од алатка што одобрува плаќања. Кај првата може да се толерираат повремени грешки што корисникот може брзо да ги исправи. Втората бара строго овластување, можност за ревизија и независни проверки.

Разгледајте асистент што му помага на тим за поддршка да подготвува нацрти на одговори. Неговата задача не е само да создава уверлив текст. Тој мора да користи релевантни информации за производот, да разликува познат одговор од несигурен и да му даде на агентот нацрт што вреди да се прегледа. Корисниот дизајн почнува од тие очекувања и дефинира како тимот ќе го препознае успехот.

Тоа може да опфаќа дали нацртот се повикува на соодветните внатрешни материјали, дали агентот го прифаќа без значителни исправки и дали конечниот одговор го решава проблемот. Овие сигнали одговараат на различни прашања. Нацртот може да биде течно напишан, а сепак да препорачува погрешно дејство; прифатениот нацрт сепак може да не го реши проблемот на клиентот.

Изградете го циклусот за повратни информации пред да го автоматизирате

Циклусот на подобрување има четири дела: евидентирање на исходот, толкување на сигналот, предлагање промена и проверка дали промената помогнала. Тешкиот дел е да се утврди што значи секој сигнал.

За асистентот за поддршка, измената што ја прави агентот е корисен доказ, но не е автоматски цел за тренирање. Агентот можеби исправува фактичка грешка, го приспособува тонот или додава контекст што не му бил достапен на асистентот. Зачувајте доволно контекст за да можете да ги разликувате тие случаи, во согласност со правилата на вашата организација за приватност и задржување податоци. Мал, внимателно прегледан збир примери може да открие повеќе од голем број необјаснети негативни оценки.

Разграничете ги можните начини на постапување според повратните информации. Ако одговорот се потпирал на застарена политика, ажурирајте го изворот и процесот на негово индексирање. Ако соодветната политика била достапна, но не била пронајдена, испитајте го пребарувањето. Ако доказите биле присутни, но одговорот ги игнорирал, разгледајте ги инструкциите и однесувањето на моделот. Ако самата задача е двосмислена, подобрете го начинот на кој случајот се предава на човек. Дополнителното дотренирање со текот на времето може да биде корисно за однесување што се повторува, но не е замена за утврдување на причината за проблемот.

Обезбедете му на системот сигурна меморија

На многу апликации со вештачка интелигенција им е потребен пристап до информации што се менуваат почесто отколку што моделот се тренира. Пребарувањето може да го обезбеди тој контекст: пронајдете релевантни документи, проследете избрани извадоци до моделот и побарајте од него да одговори во тие рамки.

Квалитетот на тој процес зависи од вообичаени инженерски детали. Документите треба да имаат одговорни лица, контроли за пристап и начин за повлекување на застарените верзии. Пребарувањето мора да ги почитува дозволите на лицето што го поднесува барањето. Апликацијата треба и јасно да постапува со докази што недостигаат или се противречни, наместо секој пронајден извадок да го смета за веродостоен извор.

Разграничете ги различните видови меморија. Тековната политика припаѓа во одржуван извор на знаење. Корисничка поставка може да припаѓа во профил што може да се уредува. Историјата на разговорот помага во тековната размена, но може да содржи грешки и чувствителни информации. Одлуката што да се задржи, колку долго и кој може да го исправи или избрише е дел од архитектурата.

Оценувајте ги промените според реалната работа

Без стабилен збир за евалуација, лесно е посамоуверениот одговор да се помеша со подобар одговор. Соберете репрезентативни примери од работниот тек, вклучувајќи рутински барања, двосмислени прашања, информации што недостигаат и случаи во кои правилниот одговор е да се одбие барањето или да се упати на повисоко ниво. Прегледајте ги очекуваните исходи со луѓе што ја разбираат работата.

Користете го тој збир за да ја споредите предложената промена со тековниот систем. Комбинирајте проверки што можат да се автоматизираат со човечки преглед таму каде што е потребна проценка. На пример, автоматска проверка може да утврди дали нацртот содржи задолжително известување, додека лице што го прегледува проценува дали препораката е соодветна. Ниту една од тие проверки сама по себе не утврдува дека целиот одговор е точен.

Следете го и однесувањето при работа: времето на одзив, неуспесите, предавањата на случаи и напорот потребен за исправка на резултатот. Ако промената го подобрува квалитетот на одговорите, но ги тера агентите да чекаат толку долго што ја напуштаат алатката, системот не се подобрил на начинот што му е потребен на тимот. Повторно разгледувајте го збирот за евалуација како што се менуваат производот и начините на кои може да откаже, а притоа задржете постојан збир случаи за смислени споредби.

Нека автономијата биде контролирана одлука

Создавањето препорака и преземањето дејство се различни одговорности. На агент што може да чита запис за клиент, да изврши поврат на средства и да испрати порака му се потребни јасни ограничувања за секоја способност. Дајте му го само пристапот потребен за неговата задача, проверувајте ги влезните и излезните податоци на границите на системот и барајте човечко одобрување за дејства кај кои грешките се скапи или тешко се поправаат.

Осмислете ги сценаријата за неуспех исто толку внимателно како и сценариото во кое сè се одвива успешно. Повикот до моделот може да го надмине дозволеното време; алатката може да врати нецелосни податоци; дејството може да успее дури и ако апликацијата не добие потврда. Системот треба да пријави кога постои неизвесност, да избегне слепо повторување на дејство што можеби веќе е извршено и да му даде на операторот доволно информации за да го испита случајот. Дневниците и ревизорските записи треба да ја поддржат таа работа без да задржуваат непотребна чувствителна содржина.

Подобрувањето е способност на производот

Практичното воведување може да почне со предлози што ги прегледуваат луѓе, а потоа да следи ограничена автоматизација таму каде што доказите го поддржуваат тоа. Назначете одговорни лица за изворите на знаење, збирот за евалуација и самиот работен тек. Овозможете им на корисниците лесно да пријавуваат проблеми и направете ги тие пријави видливи за луѓето што можат да постапат по нив.

Затоа, нацртот за вештачка интелигенција што навистина учи е помалку мистериозен отколку што звучи. Изградете систем што може да ја набљудува својата работа, да ги претвора повратните информации во конкретни промени и да ги потврдува тие промени врз основа на значајни примери. Моделот обезбедува моќна способност; начинот на кој е осмислен системот околу него ѝ овозможува на таа способност со текот на времето да стане покорисна и подоверлива.