Отстранете ги грешките во архитектурата на базата на податоци за задни системи подготвени за ВИ
Функционалност со вештачка интелигенција може да претвори уреден заднински систем во мошне ентузијастички извор на проблеми со базата на податоци. Едно корисничко барање може да активира пребарување, да преземе десетина записи, да состави контекст, да зачува одговор и да ги ажурира информациите за користење. Секој чекор може да изгледа разумен сам по себе. Заедно, тие ја откриваат секоја нејасна граница на одговорност, секој индекс што недостига и секоја претпоставка за доцнењето.
Подготовката на архитектурата на базата на податоци за вештачка интелигенција почнува со истото прашање што го олеснува управувањето со секој заднински систем: што се случува со податоците додека едно барање се движи низ системот? Разликата е во тоа што работните текови со вештачка интелигенција често додаваат големи количини податоци, повици кон надворешни услуги, асинхрона обработка и резултати чие повторно создавање може да биде скапо. Поради овие оптоварувања, постојните слабости стануваат потешки за игнорирање.
Следете го барањето пред да ја промените шемата
Почнете со еден реален работен тек, како што е одговарање на прашање за нарачките на клиент. Следете го од крајната точка на API-то, преку проверката на овластувањата, барањата до базата на податоци, секој чекор на пронаоѓање податоци и барањето до моделот, сè до конечниот одговор. Забележете кои компоненти читаат или запишуваат податоци, што им е потребно и колку трае секој чекор.
Потоа прашајте се каде се наоѓа изворот на вистинитите податоци. Статусот на нарачката може да припаѓа во трансакциска база на податоци, додека индексот за пребарување содржи копија од избрани детали за нарачката што може да се пребарува. Индексот може да помогне да се најдат кандидати, но апликацијата треба да ги провери тековниот статус и правата за пристап според меродавните податоци пред да врати чувствителни информации.
Оваа разлика станува важна кога ажурирањата доцнат. Ако некоја нарачка е откажана, но индексот за пребарување сè уште го содржи нејзиниот стар статус, резултатот составен целосно од индексот може самоуверено да прикаже неточни информации. Планирајте го системот земајќи го предвид тоа доцнење, наместо да претпоставувате дека секоја копија се менува истовремено.
Одвојте ги трансакциските податоци од изведените податоци
Функционалностите со вештачка интелигенција често воведуваат изведени податоци: извлечен текст, резимеа, векторски претставувања и сегменти подготвени за пронаоѓање. Овие артефакти се корисни, но обично се создадени од нешто друго. Ако ги третирате како независен извор на вистина, исправките и бришењето стануваат многу потешки.
На секој изведен запис доделете му јасна врска со неговиот извор и доволно информации за да може повторно да се создаде. Во зависност од работниот тек, тоа може да вклучува идентификатор на изворот, верзија на содржината, статус на обработката и верзија на употребената трансформација. Кога документот ќе се промени, системот може да утврди кои сегменти треба да се заменат. Кога документот ќе се избрише, може да ги отстрани поврзаните копии согласно правилата на апликацијата за задржување податоци.
Практично правило е прво да овозможите повторно создавање на податоците, па потоа да го усовршувате нивното пронаоѓање. Ако се промени форматот на векторските претставувања или стратегијата за поделба на сегменти, потребен ви е контролиран начин за повторна обработка на податоците и префрлање на компонентите што ги читаат, без мешање некомпатибилни верзии. Соодветната технологија за складирање зависи од работното оптоварување; потребата да се следи потеклото на податоците не зависи од него.
Испитајте ги барањата до базата, а не само инфраструктурата
Кога одговорите од вештачката интелигенција се бавни, тимовите често прво го проверуваат моделот. Тоа е разбирливо, но и делот што се однесува на базата на податоци заслужува да се измери. Процесот на пронаоѓање може да извршува неколку мали барања за секој кандидат, да вчитува колони што никогаш не ги користи или да ја повторува истата проверка на овластувањата за секој запис.
Во PHP-апликација, објектно-релацискиот мапер може да направи ова лесно да се превиди. Замислете дека преземате 50 сегменти од документи, а потоа посебно го вчитувате матичниот документ за секој од нив. Тоа може да претвори една операција за пронаоѓање во десетици повици до базата на податоци и назад. Групното вчитување на потребните матични записи може да ги отстрани повторените барања, а притоа проверката на овластувањата да остане експлицитна.
Користете ги алатките за планови на извршување на барањата во базата на податоци и следењето на апликацијата за да ги испитате патеките што трошат најмногу ресурси. Проверете дали филтрите одговараат на достапните индекси, дали бројот на резултати е ограничен и дали големите текстуални полиња се преземаат пред да бидат потребни. Индексот што ги забрзува читањата исто така зафаќа простор и додава работа при запишување, па затоа додајте го како одговор на забележан начин на пристап.
Поставете ограничувања за пронаоѓањето податоци
Дефинирајте ограничувања за бројот на кандидати, големината на податоците и времето потрошено во секоја фаза. Овие ограничувања ги штитат и базата на податоци и последователното барање до моделот. Враќањето повеќе контекст не е автоматски подобро: нерелевантниот материјал зафаќа простор и може да го отежне засновањето на одговорот врз соодветните записи.
Измерете ја целата патека, како и нејзините делови. Побрзото барање до базата е корисно, но може малку да влијае врз времето на чекање на корисникот ако надворешно барање одзема најголем дел од времето во работниот тек. Од друга страна, барање што не одзема многу време, но се повторува многупати, може да стане тесно грло при истовремен сообраќај.
Планирајте повторни обиди и делумни откажувања
Работниот тек со вештачка интелигенција минува низ граници чии компоненти може да откажат независно една од друга. Документот може успешно да се зачува, додека задачата што го индексира да не успее. Работен процес може да заврши надворешно барање, а потоа да ја изгуби врската пред да го забележи резултатот. Повторувањето без план може да создаде дупликати од сегменти, повторни наплати или спротивставени состојби.
Користете експлицитни состојби на обработка и направете ги операциите што може да се повторат безбедни за повторно извршување. На пример, работен процес што обработува одредена верзија на документ може да ги замени или да ги вметне односно ажурира изведените записи поврзани со таа верзија, под услов базата на податоци да ја спроведува единственоста на идентификаторите од кои зависи операцијата. Забележувајте ги неуспесите со доволно контекст за да може да се утврди причината и користете ограничен број повторни обиди со постепено зголемување на интервалот за грешки што може да се привремени. За трајните грешки е потребен јасен начин за исправка, а не бескрајна јамка.
Не држете трансакција во базата на податоци отворена додека чекате модел или друга надворешна услуга. Одржувајте ги трансакциите кратки, трајно зачувајте ја состојбата потребна за продолжување на работата и предвидете ја можноста надворешниот повик да успее, а локалното запишување да не успее. Кога повторените надворешни повици имаат значајни последици, користете механизам за идемпотентност ако услугата го поддржува; во спротивно, планирајте го системот за таа неизвесност и следете ја.
Држете ја контролата на пристап блиску до податоците
Пронаоѓањето податоци не ја заменува проверката на овластувањата. Семантичкото совпаѓање ви кажува дека содржината може да биде релевантна; не ви кажува дека тековниот корисник смее да ја види. Применувајте ги ограничувањата за пристап меѓу клиенти и правилата за дозволи при изборот на кандидати и проверете го пристапот пред да вклучите изворна содржина во одговор или да ја испратите до надворешна услуга.
Исто така, одлучете што смее да се запишува во дневниците. Барањата до моделот, пронајдените извадоци, одговорите од моделот и пораките за грешки може да содржат податоци за клиенти. Дефинирајте ја намената на оперативните дневници, ограничете ја нивната содржина и периодот на задржување и погрижете се политиките за бришење да ги опфатат изведените складишта и кешови, како и примарните табели.
Овозможете набљудување на архитектурата
Корисна контролна табла може да покаже колку долго задачите чекаат во редицата, неуспесите при обработката, времето на одговор на барањата до базата, обемот на пронаоѓање податоци и времето поминато во чекање на надворешни услуги. Поврзете ги тие мерења со идентификатор на барање или задача за да може бавниот одговор да се проследи низ компонентите. Следете дали изведените податоци се доволно ажурни за потребите на производот, а не само дали работните процеси се извршуваат.
Намерно тестирајте ги проблематичните сценарија: ажурирајте документ за време на индексирањето, повторете завршена задача, отстранете го пристапот на корисник и предизвикајте откажување на последователна услуга. Овие вежби откриваат дали архитектурата го исполнува она што го ветува кога сè не оди според планот.
Заднинскиот систем подготвен за вештачка интелигенција не се определува според присуството на векторско складиште или крајна точка за модел. Тој се определува според тоа дали тимот може да објасни од каде потекнуваат податоците во одговорот, кој имал дозвола да ги користи и што се случува кога еден чекор ќе откаже. Ако ги поставите правилно тие темели, новите можности со вештачка интелигенција полесно ќе се додаваат без да се намали довербата во остатокот од системот.