Датабрицкс: ‘ПДФ рашчлањивање за агентску АИ је још увек нерешено’ — нова алатка замењује цевоводе са више услуга са једном функцијом

Много је пословних података заробљених у ПДФ документима. Да будемо сигурни, ген АИ алати су били у стању да уносе и анализирају ПДФ-ове, али тачност, време и цена су били мање него идеални. Нова технологија компаније Датабрицкс би то могла да промени.

Компанија је ове недеље детаљно објавила своје "аи_парсе_доцумент" технологија, сада интегрисана са Датабрицкс платформом Агент Брицкс. Технологија решава критично уско грло у усвајању вештачке интелигенције у предузећу: Приближно 80% знања предузећа остаје закључано у ПДФ-овима, извештајима и дијаграмима које се системи вештачке интелигенције труде да прецизно обраде и разумеју.

"Уобичајена је претпоставка да је рашчлањивање ПДФ-ова решен проблем, али у стварности није," Ерих Елсен, главни истраживач у Датабрицкс-у, рекао је за ВентуреБеат. "Изазов није само у томе што су документи неструктурирани; то је да су пословни ПДФ-ови инхерентно сложени. Они мешају дигитални изворни садржај са скенираним страницама и фотографијама физичких докумената, поред табела, графикона и неправилних распореда, а већина постојећих алата не успева да прецизно ухвати те информације."

Скривена сложеност иза рашчлањивања докумената

Док оптичко препознавање знакова (ОЦР) постоји деценијама, Елсен тврди да издвајање употребљивих, структурираних података из докумената предузећа у стварном свету остаје суштински нерешено.

Кључни елементи као што су табеле са спојеним ћелијама, натписи слика и просторни односи између елемената документа се рутински испуштају или погрешно читају од стране постојећих алата, чинећи низводне АИ апликације, системе са проширеном генерисањем (РАГ) или контролне табле пословне интелигенције непоузданима.

Типично заобилазно решење за предузећа било је слагање више несавршених алата заједно: једна услуга за откривање распореда, друга за ОЦР, трећа за екстракцију табеле, као и додатни АПИ-ји за анализу слика. Овај приступ захтева месеце прилагођеног инжењеринга података и сталног одржавања како се формати докумената развијају.

"Да би то надокнадили, тимови су морали да слажу више несавршених алата или да изграде опсежне прилагођене цевоводе, трошећи месеце на инжењеринг података уместо на иновације," Елсен је рекао. "аи_парсе_доцумент то решава тако што издваја потпуне, структуриране податке из докумената стварног света — тако да организације коначно могу да верују и постављају упите за неструктуриране податке директно у Датабрицкс-у."

Технички приступ: Обука од краја до краја наспрам слагања цевовода

Данас на тржишту постоји више услуга за рашчлањивање ПДФ-ова, укључујући АВС Тектрацт, Гоогле Доцумент АИ и Азуре Доцумент Интеллигенце, између осталих. Елсен је тврдио да уместо само читања текста, алат користи систем модерних АИ компоненти обучених да од краја до краја извуче структурирани контекст са врхунским квалитетом.

Функција превазилази основну екстракцију да би ухватила:

• Табеле су сачуване тачно онако како се појављују, укључујући спојене ћелије и угнежђене структуре

• Слике и дијаграми са натписима и описима генерисаним од вештачке интелигенције

• Просторни метаподаци и гранични оквири за прецизну локацију елемента

• Опциони излази слике за мултимодалне апликације за претрагу

Сви резултати се чувају директно у Датабрицкс Унити каталогу као Делта табеле, што значи да рашчлањени документи постају структурирани подаци за које се може тражити без напуштања Датабрицкс окружења. Ово је кључна разлика од услуга у облаку које захтевају извоз података за обраду.

"Кроз обуку усредсређену на податке и оптимизовано закључивање, постигли смо 3–5 пута нижу цену док смо упоредили или надмашили водеће системе као што су Тектрацт, Доцумент АИ и Азуре Доцумент Интеллигенце," Елсен је рекао.

Рано усвајање предузећа у производним и индустријским секторима

Неколико великих предузећа је већ применило аи_парсе_доцумент у производњи са случајевима коришћења који обухватају оптимизацију тока рада науке о подацима, демократизацију обраде докумената и развој РАГ апликација.

На пример, Елсен је приметио да Роцквелл Аутоматион користи аи_парсе_доцумент да смањи трошкове конфигурације за своје научнике.

"Оно што је некада захтевало значајно подешавање за подршку сложеним решењима, сада је поједностављено, омогућавајући тимовима да проводе више времена на иновацијама и мање времена на управљању инфраструктуром," рекао је.

ТЕ Цоннецтивити, у међувремену, користи аи_парсе_доцумент да демократизује неструктурисану обраду података.

"Раније је вађење табела, текста и метаподатака из докумената захтевало сложене токове посла са тешким кодом," Елсен је рекао. "Уз Датабрицкс, они су све то сажимали у једну СКЛ функцију, чинећи напредну обраду докумената доступном сваком тиму података, а не само научницима за податке."

Емерсон Елецтриц је још један рани корисник. Компанија користи аи_парсе_доцумент за случај употребе РАГ-а. Елсен је објаснио да је омогућавањем паралелног рашчлањивања докумената директно у Делта табелама, Емерсон направио брзу и једноставну изградњу РАГ апликација, све у оквиру свог постојећег Датабрицкс окружења.

Игра интеграције платформе

Док Датабрицкс има дугу историју са отвореним кодом, технологија аи_парсе_доцумент је власничка компонента Датабрицкс платформе.

За разлику од самосталних АПИ-ја за обавештавање докумената, аи_парсе_доцумент је дубоко интегрисан са платформом Датабрицкс Агент Брицкс, која представља колекцију АИ функција и могућности оркестрације за изградњу производних АИ агената.

Функција ради са Датабрицкс-овом широм инфраструктуром података, укључујући:

• Спарк Децларативе Пипелинес: Обезбедите аутоматску инкременталну обраду, што значи да се нови документи који стигну у СхареПоинт, С3 или Азуре Дата Лаке Стораге аутоматски анализирају без ручне оркестрације.

• Каталог Унити: Управља дозволама, траговима ревизије и линији података за рашчлањени садржај тачно као и за структуриране податке.

• Претрага вектора: Индекси су анализирали елементе документа укључујући текст, табеле и слике са натписима за мултимодалне РАГ апликације.

• Ланац АИ функција: Омогућава програмерима да доводе излаз аи_парсе_доцумент директно у аи_ектрацт (извлачење ентитета), аи_цлассифи (категоризација документа) и аи_суммаризе (сажимање садржаја) у оквиру једног СКЛ упита.

• Супервизор са више агената: Координира агенте за обраду докумената са другим специјализованим агентима за сложене токове посла.

"Рашчлањивање је само почетак и ретко сам циљ," Елсен је рекао. "Циљ је да омогућимо клијентима да уланчају наше аи_функције, као што су аи_ектрацт и аи_цлассифи, заједно са аи_парсе_доцумент како би своје документе претворили у податке и увиде који се могу применити. Такође желимо да учинимо беспрекорним претварање корпуса докумената у базу података знања за употребу у РАГ-у или другим агентима за проналажење информација."

Шта то значи за стратегију вештачке интелигенције предузећа

За предузећа која граде системе АИ агента, кључно је разумети како се ПДФ документи заправо користе и разумеју од стране система.

Датабрицкс приступ баца ново светло на проблем за који су многи можда сматрали да је решен проблем. Изазива постојећа очекивања новом архитектуром која би могла да користи више врста токова посла. Међутим, ово је могућност специфична за платформу која захтева пажљиву процену за организације које још не користе Датабрицкс.

За доносиоце техничких одлука који процењују платформе агената вештачке интелигенције, кључни закључак је да се интелигенција докумената пребацује са специјализоване екстерне услуге на могућност интегрисане платформе.