АИ алат открива текст генерисаног у истраживачким радовима и рецензије вршњака

Анализа десетина хиљада поднедија истраживања показала је драматично повећање присуства текста генерираног коришћењем вештачке интелигенције (АИ) у последњих неколико година, нашао је академски издавач.

Америчко удружење за истраживање рака (ААЦР) утврђено је да је 23% сажетака у рукописима и 5% извештаја о рецензији достављен својим часописима у 2024. садржавао текст који је вероватно створио велики језички модели (ЛЛМС). Издавачи су такође открили да је мање од 25% аутора открило употребу АИ да припреми рукописе, упркос објављивањем објављивања издавача за подношење.

Да бисте списали рукописе за знакове АИ употребе, ААЦР је користио АИ алат који су развили лабораторији Панграм, са седиштем у Њујорку. Када се примењује на 46.500 сажетака, одсеци 46.021 метода и 29.544 коментара на 10 ААЦР-а, између 2021. и 2024. године, алат је означио пораст осумњиченог Аи-генерисаног текста у поднесима и преиспитивање извештаја од јавног објављивања Операваи-овог Цхатбот-а, ЦхатГтпт.

„Били смо шокирани када смо видели резултате Панграма“, каже Даниел Еванко, Аацров директор часописа и системи који су представили налазе на 10. међународном конгресу на рецензију и научне публикације у Чикагу, Илиноис.

Анализа је утврдила да је АИ-генерисан текст у извештајима о рецензији пао за 50% крајем 2023. године, након што је ААЦР забранио рецензенте за коришћење ЛЛМ-а. Али откривање АИ насталих текста у коментарима на рецензији више него удвостручени до почетка 2024. и наставили су се пењати.

То је „несклоно да види људе који повећавају употребу ЛЛМ-а за рецензију вршњака упркос нама забрањујући то употреба“, каже Еванко. Он додаје да је „наша намера дефинитивно да почнемо да скринише све долазне рукописе и сав коментари на долазни вршњачки преглед“.

Алат „Чини се да је изузетно добро функционирало“, каже Адам Даи, оснивач бистрог неба, фирма за интегритет за интегритет у Лондону. Међутим, „можда постоји пристрасност да се не видимо у вези са лажним позитивном стопом, а ми би требало да будемо наморни о томе“, додаје он.

99,85% тачно

Панграм је обучен на 28 милиона написаних докумената од пре 2021. године, укључујући 3 милиона научних радова, као и „АИ огледала“ – ллм-генерисани текстови који су мимички написали људским пролазима дужине, стил и тон који су написали људско-писмене одломаче.

Максимално Сперо, извршни директор Панграм Лабс-а, каже да је додавање начина активног учења у Панграму „један од пробоја“ који је омогућио да смањи лажну позитивну стопу – удио текстова погрешно означено као да је написано. Он и његов тим више пута су се повукли алат, који је „смањио нашу лажну позитивну стопу од око једног у 100 до око једног на 10.000“, каже он.

‘АИ модели су способни за нове истраживање’: главни научник ОпенАИ-а на шта да очекује

У преприштини која је објављена прошле године¹Сперо и његове колеге показале су да је Панграмска тачност била 99,85%, а брзине грешака 38 пута ниже од оних других тренутно доступних АИ-Алати за детекцију.

Испитивање алата за детекцију АИ на рукописима пре него што је ЦхатГГПТ објављен у новембру 2022. године, означио је само седам сажетака и ниједан извештај о методама или рецензији који садрже потенцијално аи-генерисан текст. „Одатле, откривање се само повећавају линеарно и на ономе што бисмо мислили да је веома висока стопа“, каже Еванко.

Алат такође може разликовати различите ЛЛМ, укључујући моделе ЦхатГПТ, Деепсеек, Ллама и Цлауда. „Можемо то учинити само зато што смо створили целу обуку поставили смо себе, тако да знамо тачно порекло, знамо који су модел стигли подаци о обуци“, објашњава Сперо.

Тренутни модел Панграма не може разликовати одломке који у потпуности генеришу АИ и онима који су написали људи, али уређени користећи АИ.

Језичка помоћ

Аацр је Панграм користио да анализира поднеске у 2024. години, што је било да је 11.959 сажетака, 11.875 метода одсека и 7.211 извештаја о рецензији.

Њихова анализа открила је да аутори у институцијама у земљама у којима енглески језик није матерњи језик био је више него двоструко вероватније да ће користити ЛЛМС.

„Био сам лично шокиран колико је употреба била висока употреба у методама“, каже Еванко. „Тражити да ће се побољшати језик поступка поступка могло би да уведе грешке … јер ти детаљи морају бити тачни у погледу начина на који сте нешто учинили и ако нешто преформулирате, можда више не може бити тачно, то можда више не може бити тачно“.