Након што је ЦхатГПТ постао широко доступан крајем 2022. године, многи истраживачи су почели да говоре колегама да могу да ураде више са овим новим алатима за вештачку интелигенцију. У исто време, уредници часописа пријавили су пораст глатко написаних поднесака за које се чинило да нису додали велику научну вредност.
Нова Корнеллова студија сугерише да ти неформални извештаји указују на ширу промену у начину на који научници припремају рукописе. Истраживачи су открили да модели великих језика (ЛЛМ) као што је ЦхатГПТ могу повећати излаз папира, са посебно јаким предностима за научнике којима енглески није матерњи језик. Али све већи обим писаног текста АИ такође отежава кључним доносиоцима одлука да разликују смислен рад од садржаја ниске вредности.
„То је веома распрострањен образац, у различитим областима науке – од физичких и компјутерских наука до биолошких и друштвених наука“, рекао је Ииан Иин, доцент информационих наука на Корнел Ен С. Бауерс колеџу за рачунарство и информационе науке. „Постоји велики помак у нашем тренутном екосистему који захтева веома озбиљан поглед, посебно за оне који доносе одлуке о томе коју науку треба да подржимо и финансирамо.“
Налази се појављују у раду под насловом „Научна продукција у ери великих језичких модела“, објављеном 18. децембра у Наука.
Како је Цорнелл тим мерио употребу вештачке интелигенције у истраживачким радовима
Да би испитао како ЛЛМ утичу на научно објављивање, Јин тим је сакупио више од 2 милиона радова објављених од јануара 2018. до јуна 2024. на три главне платформе за препринт. Те локације су арКсив, биоРкив и Социал Сциенце Ресеарцх Нетворк (ССРН). Заједно, они представљају физичке науке, науке о животу и друштвене науке, и они су домаћини студија које још нису прошле рецензију.
Истраживачи су користили радове објављене пре 2023. за које се претпостављало да су их написали људи и упоређивали их са текстом генерисаним вештачком интелигенцијом. Из тог поређења, направили су модел дизајниран да означи папире који су вероватно написани уз помоћ ЛЛМ. Користећи овај детектор, проценили су који аутори вероватно користе ЛЛМ за писање, пратили колико радова су ти научници објавили пре и после усвајања алата, а затим проверили да ли су радови касније прихваћени од стране научних часописа.
Велики добитак у продуктивности, посебно за оне којима енглески није матерњи
Резултати су показали јасан скок продуктивности повезан са очигледном употребом ЛЛМ. На арКсив-у, научници означени да користе ЛЛМ објавили су отприлике једну трећину више радова од оних за које се чинило да не користе АИ. На биоРкив и ССРН, повећање је премашило 50%.
Повећање је било највеће за научнике који пишу на енглеском као другом језику и суочавају се са додатним препрекама када комуницирају технички рад на страном језику. На пример, истраживачи повезани са азијским институцијама објавили су између 43,0% и 89,3% више радова након што је детектор сугерисао да су почели да користе ЛЛМ, у поређењу са сличним истраживачима који нису усвојили технологију, у зависности од места за препринт. Јин очекује да би предност на крају могла да помери глобалне обрасце научне продуктивности ка регионима који су спутани језичком баријером.
АИ претрага може проширити оно што научници наводе
Студија је такође указала на потенцијалну корист током претраживања литературе и прикупљања цитата. Када истраживачи траже сродни рад за цитирање, Бинг Цхат – описан као прва широко прихваћена алатка за претрагу заснована на вештачкој интелигенцији – је боље показала новије радове и релевантне књиге од традиционалних алата за претрагу. Традиционални алати су, насупрот томе, вероватније враћали старије и више цитиране изворе.
„Људи који користе ЛЛМ повезују се са разноврснијим знањем, што би могло да покрене креативније идеје“, рекао је први аутор Кеиго Кусумеги, студент докторских студија у области информационих наука. Он планира будућа истраживања како би тестирао да ли је употреба вештачке интелигенције повезана са иновативнијом и интердисциплинарном науком.
Нови проблем за ревизију и евалуацију истраживања
Чак и док ЛЛМ помажу појединцима да направе више рукописа, исти алати могу отежати другима да процене шта је заиста јака наука. У људским писаним радовима, јасније, али сложеније писање, укључујући дуже реченице и веће речи, често је био користан сигнал за квалитетније истраживање. У арКсив-у, биоРкив-у и ССРН-у, часописи су највероватније прихватили радове који су вероватно написали људи који су постигли високе резултате на тесту сложености писања.
Тај образац је изгледао другачије за радове који су вероватно написани уз помоћ ЛЛМ. Чак и када су ти радови означени вештачком интелигенцијом имали високе оцене у сложености писања, мања је вероватноћа да ће их часописи прихватити. Истраживачи ово тумаче као знак да углађени језик можда више не одражава поуздано научну вредност и да рецензенти можда одбијају неке од ових радова упркос снажном писању.
Јин је рекао да би овај јаз између квалитета писања и квалитета истраживања могао имати озбиљне последице. Уредници и рецензенти могу имати више потешкоћа да идентификују највредније поднеске, док универзитети и агенције за финансирање могу открити да необрађени број публикација више не одражава научни допринос.
Шта следи за истраживање генеративне вештачке интелигенције
Истраживачи наглашавају да су ови налази опсервацијски. Као следећи корак, они се надају да ће тестирати узрок и последицу користећи приступе као што су контролисани експерименти, укључујући дизајне у којима су неки научници насумично распоређени да користе ЛЛМ, а други не.
Јин такође организује симпозијум у кампусу Итхаца заказан за 3-5. март 2026. Догађај ће истражити како генеративна АИ мења истраживања и како научници и креатори политике могу да воде те промене.
Како АИ постаје све уобичајенији за писање, кодирање, па чак и генерисање идеја, Јин очекује да ће се његов утицај проширити, ефективно претварајући ове системе у неку врсту сарадника научника. Он тврди да креатори политике треба да ажурирају правила како би држали корак са брзом технологијом.
„Већ се поставља питање да ли сте користили вештачку интелигенцију? Питање је како сте тачно користили вештачку интелигенцију и да ли је од помоћи или не.“
Аутори студија и финансирање
Коаутори су Ксиниу Ианг, студент докторских студија из области рачунарства; Пол Гинспарг, професор информационих наука у Корнел Бауерсу и физике на Колеџу уметности и наука, и оснивач арКсив-а; и Матхијс де Ваан и Тоби Стуарт са Универзитета Калифорније, Беркли.
Истраживање је подржала Национална научна фондација.
