Овај оквир за претрагу стабла достиже 98,7% на документима где векторска претрага не успе
Нови оквир отвореног кода тзв ПагеИндек решава један од старих проблема генерисања са проширеним претраживањем (РАГ): руковање веома дугим документима.
Класични РАГ ток посла (компоненте докумената, израчунавање уградње, складиштење у векторској бази података и преузимање најбољих подударања на основу семантичке сличности) добро функционише за основне задатке као што су питања и одговори преко малих докумената.
ПагеИндек напушта стандард "цхунк-анд-ембед" метод у потпуности и третира проналажење докумената не као проблем претраге, већ као проблем навигације.
Али док предузећа покушавају да пребаце РАГ у радне токове са високим улозима — ревизију финансијских извештаја, анализу правних уговора, навигацију по фармацеутским протоколима — они наилазе на препреку прецизности коју оптимизација делова не може да реши.
АлпхаГо за документе
ПагеИндек решава ова ограничења тако што позајмљује концепт од вештачке интелигенције која игра игрице, а не од претраживача: претрага дрвета.
Када људи треба да пронађу одређене информације у густом уџбенику или дугом годишњем извештају, они не скенирају сваки пасус линеарно. Они консултују садржај да идентификују релевантно поглавље, затим одељак и на крају конкретну страницу. ПагеИндек приморава ЛЛМ да понови ово људско понашање.
Уместо претходног израчунавања вектора, оквир гради а "Глобални индекс" структуре документа, креирајући стабло где чворови представљају поглавља, одељке и подсекције. Када упит стигне, ЛЛМ врши претрагу стабла, експлицитно класификујући сваки чвор као релевантан или ирелевантан на основу пуног контекста захтева корисника.
"У терминима рачунарске науке, садржај је стабло структуриран приказ документа, а кретање по њему одговара претраживању стабла," рекао је Зханг. "ПагеИндек примењује исту основну идеју — претрагу стабла — на проналажење докумената и може се сматрати системом у стилу АлпхаГо за преузимање, а не за игре."
Ово помера архитектонску парадигму са пасивног проналажења, где систем једноставно преузима одговарајући текст, на активну навигацију, где агентски модел одлучује где да тражи.
Границе семантичке сличности
Постоји фундаментална мана у томе како традиционална РАГ рукује сложеним подацима. Векторско тражење претпоставља да је текст семантички најсличнији упиту корисника уједно и најрелевантнији. У професионалним доменима, ова претпоставка се често руши.
Мингтиан Зханг, суоснивач ПагеИндек-а, истиче финансијско извештавање као врхунски пример овог начина неуспеха. Ако финансијски аналитичар пита АИ о "ЕБИТДА" (зарада пре камата, пореза, амортизације и амортизације), стандардна векторска база података ће преузети сваки део где се појављује та скраћеница или сличан термин.
"Више одељака може помињати ЕБИТДА са сличним текстом, али само један одељак дефинише прецизан обрачун, прилагођавања или обим извештавања релевантан за питање," Зханг је рекао за ВентуреБеат. "Ретривер заснован на сличности се бори да разликује ове случајеве јер се семантички сигнали готово не разликују."
Ово је "намера наспрам садржаја" јаз. Корисник не жели да пронађе реч "ЕБИТДА"; они желе да схвате „логику“ иза тога за то одређено тромесечје.
Штавише, традиционална уграђивања одузимају упиту његов контекст. Пошто модели за уграђивање имају строга ограничења дужине уноса, систем за проналажење обично види само конкретно питање које се поставља, игноришући претходне окрете разговора. Ово одваја корак преузимања од корисниковог процеса резоновања. Систем повезује документе са кратким, деконтекстуализованим упитом, а не са пуном историјом проблема који корисник покушава да реши.
Решавање проблема резоновања са више скокова
Утицај овог структуралног приступа у стварном свету је највидљивији у "мулти-хоп" упити који захтевају од АИ да прати траг хлебних мрвица кроз различите делове документа.
У недавном бенцхмарк тесту познатом као ФинанцеБенцх, систем изграђен на ПагеИндек-у се зове "Мафин 2.5" постигао најсавременији резултат тачности од 98,7%. Разлика у перформансама између овог приступа и система заснованих на векторима постаје јасна када се анализира како они рукују интерним референцама.
Зханг нуди пример упита у вези са укупном вредношћу одложених средстава у годишњем извештају Федералних резерви. Главни део извештаја описује „промену“ вредности, али не наводи укупан износ. Међутим, текст садржи фусноту: „Погледајте Додатак Г овог извештаја … за детаљније информације.“
Систем заснован на векторима овде обично не успе. Текст у Додатку Г нимало не личи на упит корисника о одложеним средствима; вероватно је само табела бројева. Пошто не постоји семантичко подударање, векторска база података га игнорише.
Ретривер заснован на расуђивању, међутим, чита наговештај у главном тексту, прати структурну везу ка Додатку Г, лоцира тачну табелу и враћа тачну цифру.
Компромис са кашњењем и промена инфраструктуре
За архитекте предузећа, непосредна брига у вези са процесом претраживања вођеним ЛЛМ је кашњење. Векторска претраживања се дешавају у милисекундама; има ЛЛМ "читати" садржај подразумева знатно спорије корисничко искуство.
Међутим, Зханг објашњава да уочено кашњење за крајњег корисника може бити занемарљиво због начина на који је преузимање интегрисано у процес генерисања. У класичном РАГ подешавању, преузимање је корак блокирања: систем мора да претражи базу података пре него што може да почне да генерише одговор. Са ПагеИндек-ом, проналажење се дешава у линији, током процеса резоновања модела.
"Систем може одмах да почне да стриминг и да преузме како генерише," рекао је Зханг. "То значи да ПагеИндек не додаје додатну ‘капија за преузимање’ пре првог токена, а време до првог токена (ТТФТ) је упоредиво са нормалним ЛЛМ позивом."
Ова архитектонска промена такође поједностављује инфраструктуру података. Уклањањем ослањања на уградњу, предузећа више не морају да одржавају наменску векторску базу података. Индекс са структуром дрвета је довољно лаган да се налази у традиционалној релационој бази података као што је ПостгреСКЛ.
Ово се односи на растућу болну тачку у ЛЛМ системима са компонентама за проналажење: сложеност одржавања векторских складишта у синхронизацији са живим документима. ПагеИндек одваја индексирање структуре од екстракције текста. Ако се уговор измени или политика ажурира, систем може да обради мале измене тако што ће поново индексирати само погођено подстабло уместо да поново обрађује цео корпус докумената.
Матрица одлука за предузеће
Иако је повећање тачности убедљиво, претраживање помоћу дрвета није универзална замена за векторску претрагу. Технологију је најбоље посматрати као специјализовани алат за "дубок рад" а не свеобухватно за сваки задатак проналажења.
За кратке документе, као што су е-поруке или евиденције ћаскања, цео контекст се често уклапа у контекст контекста модерног ЛЛМ-а, чинећи било какав систем за проналажење непотребним. Супротно томе, за задатке који су искључиво засновани на семантичком откривању, као што је препоручивање сличних производа или проналажење садржаја са сличним "вибрација," векторско уграђивање остаје супериоран избор јер је циљ близина, а не резоновање.
ПагеИндек се тачно уклапа у средину: дугачки, високо структурирани документи где је цена грешке висока. Ово укључује техничке приручнике, ФДА поднеске и споразуме о спајању. У овим сценаријима, услов је могућност ревизије. Систем предузећа треба да буде у стању да објасни не само одговор, већ и пут којим је прошао да га пронађе (нпр. потврдивши да је проверио одељак 4.1, пратио референцу на Додатак Б и синтетизовао податке који су тамо пронађени).
Будућност агентског проналажења
Пораст оквира као што је ПагеИндек сигнализира шири тренд у групи вештачке интелигенције: кретање ка "Агентиц РАГ." Како модели постају способнији за планирање и резоновање, одговорност за проналажење података прелази са слоја базе података на слој модела.
Ово већ видимо у простору за кодирање, где агенти воле Цлауде Цоде и Цурсор се удаљавају од једноставног тражења вектора у корист активног истраживања базе кода. Зханг верује да ће генеричко преузимање докумената пратити исту путању.
"Векторске базе података и даље имају одговарајуће случајеве употребе," рекао је Зханг. "Али њихова историјска улога као подразумеване базе података за ЛЛМ и АИ ће временом постати мање јасна."
