УКРИ тестира вештачку интелигенцију за рецензирање бесповратних средстава како би се ухватио у коштац са захтевима за финансирање који се повећавају

Британско кровно тело за финансирање УК Ресеарцх анд Инноватион (УКРИ) отвара податке који су у основи до 2000 предлога за грантове како би истражили да ли коришћење генеративне вештачке интелигенције може да олакша терет рецензије грантова.

УКРИ сваке године издваја више од 8 милијарди фунти за финансирање истраживања. Док се број грантова за истраживање и иновације које УКРИ финансира преполовио у последњих седам година, број апликација је порастао за више од 80%.

Тако да агенција разматра начине да поједностави свој процес рецензије. Почевши од октобра, истраживачки тим на челу са Мајком Тхелволом, научником за податке на Универзитету у Шефилду, Велика Британија, почео је да истражује начине на које би УКРИ могао да користи генеративну вештачку интелигенцију. Рад је финансирала УК Метасциенце Унит, прва владина јединица посвећена проучавању начина на који се истраживање ради и како се његови процеси могу побољшати.

Тхелвалл каже да ће његов тим имати приступ верзијама пуног текста између 1000–2000 предлога грантова достављених УКРИ-ју који су на крају или финансирани или одбијени од стране агенције, који се обично држе поверљивим. Тхелвалл и колеге планирају да покрену ове апликације кроз велике језичке моделе (ЛЛМ) како би видели да ли алати могу тачно предвидети резултате које су рецензенти дали предлозима и одлуку коју су на крају препоручили.

Док ће Тхелвалл и његов тим знати бодове које је сваки предлог добио и да ли су били финансирани или не, они то неће открити ЛЛМ-има. „Ако велики језички модели могу да ураде неку врсту разумног посла у предвиђању резултата који ће добити предлог гранта, онда би то могло омогућити да се на неки начин користе за убрзавање система прегледа грантова или за подршку раду рецензената“, каже Тхелвалл.

Тхелвалл је раније био део тима који је такође истраживао да ли би вештачка интелигенција могла да се користи као помоћ у рецензирању чланака поднетих британском оквиру за изврсност истраживања, који процењује квалитет истраживања која се одвијају на универзитетима у УК.

У децембру 2022. године, када су Тхелвалл и његове колеге објавили своје податке, препоручили су да системима вештачке интелигенције треба више рада пре него што би могли да помогну у ревизији од стране колега, а подаци су указивали да су системи вештачке интелигенције генерисали идентичне резултате људским рецензентима у 72% времена. Тхелвалл је, међутим, тада рекао да ова цифра треба да достигне 95% тачности да би била одржива.

Мохаммад Хоссеини, који истражује етичке импликације АИ на Универзитету Нортхвестерн, САД, каже да још увијек постоје „озбиљне сумње“ око тога да ли ЛЛМ стварају нове идеје. „Ако вештачка интелигенција не може да створи заиста нове идеје, такође је мало вероватно да ће открити заиста креативне идеје јер се обучава на постојећим подацима“, каже он. „У рукопису пријављујете нешто што се догодило, док у гранту делите идеју која још увек има потенцијал.“

Још један проблем за финансијере који користе ЛЛМ је да ако нису транспарентни о томе које критеријуме уносе у АИ, доћи ће до реакције истраживача, напомиње Хоссеини. Међутим, ако су финансијери отворени у вези са процесом, подносиоци захтева могу почети да играју систем или намерно да почну да пишу на начине који могу да генеришу повољније повратне информације од АИ.

Иако је нејасно како УКРИ може да користи генеративну вештачку интелигенцију, Тхелвалл сугерише да би то могло добро функционисати у ситуацијама када је у питању тај-брејк. ЛЛМ би такође могли да послуже као трећи или четврти додатни рецензент, предлаже Тхелвалл, или да помогну у брзој опцији одбацивања деск-а како би се смањила рецензија коју врше стручњаци за људе.

Тхелвалл наводи случај ла Цаика фондације у Барселони, која је експериментисала са рецензијом грантова уз помоћ вештачке интелигенције. Око 90% поднетих апликација за грантове и даље пролази кроз пуну рецензију са три стручњака која их испитују, каже Тхелвалл.

„Они штеде мало пуног времена рецензента“, примећује Тхелвалл, „што не звучи много, али то је да многи стручњаци не морају да троше своје време на процену предлога који имају веома мале шансе да буду финансирани.“