Традиционални ЕТЛ алати као што су дбт или Фиветран припремају податке за извештавање: структурисана аналитика и контролне табле са стабилним шемама. АИ апликацијама је потребно нешто другачије: припрема неуредних оперативних података у развоју за закључивање модела у реалном времену.
Емпромпту ово назива разликом "интегритет закључивања" наспрам "интегритет извештавања." Уместо да третирају припрему података као посебну дисциплину, златни цевоводи интегришу нормализацију директно у радни ток апликације АИ, урушавајући оно што обично захтева 14 дана ручног инжењеринга у мање од сат времена, каже компанија. Емпромпту’с "златни цевовод" приступ је начин да се убрза припрема података и да се осигура да су подаци тачни.
Компанија првенствено ради са клијентима средњег тржишта и предузећима у регулисаним индустријама где се о тачности података и усклађености не може преговарати. Финтецх је Емпромптуова најбрже растућа вертикала, са додатним клијентима у здравству и правним технологијама. Платформа је усклађена са ХИПАА и СОЦ 2 сертификована.
"АИ предузећа се не ломи на слоју модела, ломи се када неуредни подаци сретну стварне кориснике," Сханеа Левен, извршни директор и суоснивач Емпромпту, рекла је за ВентуреБеат у ексклузивном интервјуу. "Златни цевоводи доносе унос података, припрему и управљање директно у радни ток апликације АИ тако да тимови могу да граде системе који стварно раде у производњи."
Како функционишу златни цевоводи
Голден пипелинес функционишу као аутоматизовани слој који се налази између необрађених оперативних података и функција АИ апликације.
Систем управља са пет основних функција. Прво, он уноси податке из било ког извора укључујући датотеке, базе података, АПИ-је и неструктуриране документе. Затим обрађује те податке кроз аутоматизовану инспекцију и чишћење, структурирање са дефиницијама шеме и означавање и обогаћивање како би попунио празнине и класификовао записе. Уграђене провере управљања и усклађености укључују ревизијске трагове, контролу приступа и спровођење приватности.
Технички приступ комбинује детерминистичку претпроцесу са нормализацијом уз помоћ вештачке интелигенције. Уместо чврстог кодирања сваке трансформације, систем идентификује недоследности, закључује структуру која недостаје и генерише класификације на основу контекста модела. Свака трансформација се евидентира и директно везује за процену вештачке интелигенције.
Петља евалуације је централна за функционисање златних цевовода. Ако нормализација података смањује тачност низводног тока, систем их хвата кроз континуирану евалуацију у односу на понашање производње. Та веза између припреме података и перформанси модела разликује златне цевоводе од традиционалних ЕТЛ алата, каже Левен.
Златни цевоводи су уграђени директно у Емпромпту Буилдер и аутоматски се покрећу као део креирања АИ апликације. Из перспективе корисника, тимови граде АИ функције. Испод хаубе, златни цевоводи обезбеђују да су подаци којима се те функције доводе чисти, структурирани, управљани и спремни за употребу у производњи.
Интегритет извештавања наспрам интегритета закључивања
Левен позиционира златне цевоводе као решавање фундаментално другачијег проблема од традиционалних ЕТЛ алата као што су дбт, Фиветран или Датабрицкс.
"Дбт и Фиветран су оптимизовани за интегритет извештавања. Златни цевоводи су оптимизовани за интегритет закључивања," рекао је Левен. "Традиционални ЕТЛ алати су дизајнирани да померају и трансформишу структуриране податке на основу унапред дефинисаних правила. Они претпостављају стабилност шеме, познате трансформације и релативно статичну логику."
"Нећемо заменити дбт или Фиветран, предузећа ће наставити да их користе за интегритет складишта и структурирано извештавање," рекао је Левен. "Златни цевоводи се налазе ближе слоју апликације АИ. Они решавају проблем последњег километра: како узети стварне, несавршене оперативне податке и учинити их употребљивим за АИ функције без месеци ручног препуцавања?"
Аргумент поверења за нормализацију вођену вештачком интелигенцијом почива на могућности ревизије и континуираној евалуацији.
"То није магија без надзора. Може се прегледати, ревидирати и континуирано се процењује у односу на понашање у производњи," рекао је Левен. "Ако нормализација смањује тачност низводно, петља евалуације то хвата. Та повратна спрега између припреме података и перформанси модела је нешто што традиционални ЕТЛ цевоводи не пружају."
Примена клијената: ВОВ се бави подацима о догађајима са високим улозима
Приступ златног цевовода већ има утицаја у стварном свету.
Платформа за управљање догађајима ВОВ управља догађајима високог профила за организације као што су ГЛААД као и више спортских организација. Када ГЛААД планира догађај, подаци се попуњавају за позиве спонзора, куповину карата, столове, седишта и још много тога. Процес се одвија брзо и о конзистентности података се не може преговарати.
"Наши подаци су сложенији од просечне платформе," Џенифер Брисман, извршна директорка ВОВ, рекла је за ВентуреБеат. "Када ГЛААД планира догађај, подаци се попуњавају за позиве спонзора, куповину карата, столове и седишта и још много тога. И све то мора да се деси веома брзо."
ВОВ је ручно писао скрипте регуларног израза. Када је компанија одлучила да изгради функцију тлоцрта генерисану вештачком интелигенцијом која ажурира податке у скоро реалном времену и попуњава информације широм платформе, обезбеђивање тачности података постало је критично. Голден Пипелинес је аутоматизовао процес издвајања података из тлоцрта који су често стизали неуредни, недоследни и неструктурирани, а затим их је форматирао и слао без великог ручног напора кроз инжењерски тим.
ВОВ је првобитно користио Емпромпту за анализу тлоцрта генерисану вештачком интелигенцијом коју ни Гоогле-ов АИ тим ни Амазонов АИ тим нису могли да реше. Компанија сада преписује целу своју платформу на Емпромпту систему.
Шта ово значи за примену АИ у предузећима
Голден пипелинес циља на специфичан образац примене: организације које граде интегрисане АИ апликације где је припрема података тренутно ручно уско грло између прототипа и производње.
Приступ има мање смисла за тимове који већ имају зреле организације за инжењеринг података са успостављеним ЕТЛ процесима оптимизованим за њихове специфичне домене, или за организације које граде самосталне АИ моделе уместо интегрисаних апликација.
Тачка одлуке је да ли припрема података блокира брзину вештачке интелигенције у организацији. Ако научници података припремају скупове података за експериментисање које инжењерски тимови затим обнављају од нуле за производњу, интегрисана припрема података решава тај јаз.
Ако је уско грло негде другде у животном циклусу развоја вештачке интелигенције, неће. Компромис је интеграција платформе наспрам флексибилности алата. Тимови који користе златне цевоводе обавезују се на интегрисани приступ где се припрема података, развој АИ апликација и управљање одвијају на једној платформи. Организације које преферирају склапање најбољих алата у својој врсти за сваку функцију ће сматрати да је тај приступ ограничавајући. Предност је елиминисање преноса података између припреме података и развоја апликације. Трошкови су смањени опциони начин на који се те функције имплементирају.
