Обично, када праве, обучавају и примењују вештачку интелигенцију, предузећа дају приоритет прецизности. И то је, без сумње, важно; али у веома сложеним, нијансираним индустријама као што је право, сама тачност није довољна. Већи улози значе више стандарде: Резултати модела морају бити процењени за релевантност, ауторитет, тачност цитата и стопе халуцинација.
Да би се ухватио у коштац са овим огромним задатком, ЛекисНекис је еволуирао изван стандардне генерације са проширеним проналажењем (РАГ) до графова РАГ-а и агентских графова; такође је изграђено "планер" и "рефлексија" АИ агенти који анализирају захтеве и критикују сопствене резултате.
„Не постоји такав [thing] као „савршена вештачка интелигенција“ јер никада не добијате 100% тачност или 100% релевантност, посебно у сложеним доменима са високим улозима као што је правни“, признаје Мин Чен, ЛекисНекисов СВП и главни АИ службеник, у новом подцасту ВентуреБеат Беионд тхе Пилот.
Циљ је управљати том несигурношћу што је више могуће и превести је у конзистентну вредност за купце. „На крају дана, оно што нам је најважније је квалитет исхода вештачке интелигенције, а то је континуирано путовање експериментисања, понављања и побољшања“, рекао је Чен.
Добијање ‘потпуних’ одговора на вишеструка питања
Да би проценио моделе и њихове резултате, Ченов тим је успоставио више од пола туцета „подметрика“ за мерење „корисности“ на основу неколико фактора — ауторитета, тачности цитата, стопе халуцинација — као и „свеобухватности“. Ова конкретна метрика је дизајнирана да процени да ли је одговор гена АИ у потпуности обухватио све аспекте правних питања корисника.
„Дакле, не ради се само о релевантности“, рекао је Чен. „Комплетност директно говори о правној поузданости.”
На пример, корисник може поставити питање које захтева одговор који покрива пет различитих правних разлога. Ген АИ може дати одговор који тачно адресира три од њих. Али, иако је релевантан, овај делимичан одговор је непотпун и, из перспективе корисника, недовољан. Ово може бити обмањујуће и представљати ризик у стварном животу.
Или, на пример, неки цитати могу бити семантички релевантни за питање корисника, али могу указивати на аргументе или случајеве који су на крају одбачени на суду. „Наши адвокати ће сматрати да их се не може навести“, рекао је Чен. „Ако се не могу навести, нису корисни.“
Прелазак преко стандардног РАГ-а
ЛекисНекис је 2023. лансирао свој водећи производ АИ, Лекис+ АИ — правни алат за вештачку интелигенцију за израду, истраживање и анализу — 2023. Изграђен је на стандардном РАГ оквиру и хибридној претрази вектора који заснива одговоре у поузданој, ауторитативној бази знања ЛекисНекиса.
Компанија је затим издала свог личног правног помоћника, Протеге, 2024. Овај агент укључује слој графа знања на врху векторске претраге да би се превазишло „кључно ограничење“ чисте семантичке претраге. Иако је „веома добар“ у проналажењу контекстуално релевантног садржаја, семантичка претрага „не гарантује увек ауторитативне одговоре," рекао је Чен.
Почетна семантичка претрага враћа садржај који сматра релевантним; Ченов тим затим прелази те поврате преко графикона „правне тачке“ да би додатно филтрирао најауторитативније документе.
Идући даље од овога, Ченов тим развија агентске графиконе и убрзава аутоматизацију како би агенти могли да планирају и извршавају сложене задатке у више корака.
На пример, самостални „агенти планера“ за истраживачка питања и одговоре деле корисничка питања на више потпитања. Људи људи могу да их прегледају и уређују како би даље прецизирали и персонализовали коначне одговоре. У међувремену, „агент за рефлексију“ управља састављањем трансакционих докумената. Може „аутоматски, динамички“ да критикује свој почетни нацрт, а затим да угради те повратне информације и прецизира у реалном времену.
Међутим, Чен је рекао да све ово није да искључи људе из мешавине; људски стручњаци и АИ агенти могу „учити, размишљати и расти заједно“. „Видим будућност [as] дубљу сарадњу између људи и АИ.”
Погледајте подцаст да бисте чули више о:
-
Како је ЛекисНекис набавио Хенцхман помогао да се АИ модели уземе са власничким ЛекисНекис подацима и подацима о клијентима;
-
Разлика између детерминистичке и недетерминистичке евалуације;
-
Зашто предузећа треба да идентификују КПИ и дефиниције успеха пре него што пожуре са експериментисањем;
-
Важност фокусирања на „троугао“ кључних компоненти: цена, брзина и квалитет.
Такође можете слушати и претплатити се на Беионд тхе Пилот на Спотифи, Аппле или где год да добијете своје подкасте.
