Радови са ниским квалитетом поплаве литературу рака – да ли овај АИ алат може да их ухвати?

Алат вештачке интелигенције (АИ) који скенира рукопис и сажетке означавао је више од 250.000 студија рака које носе текстуалне сличности на чланке које је познато да су произвели папирним млиновима. Ова предузећа производе лажне или квалитетне истраживачке радове и продају ауторство.

Чланци произведени папирним млиновима често укључују израђене податке, дуплиране слике и чудне фразе, које су чудни избори за израду који се користе за избегавање детектора плагијаризма. Специјалисти интегритета и лопатице могу уочити ове мане, али процес је дуготрајан и, у многим случајевима, укључивање папирних млинова не може се доказати тако квантификовање обима проблема је тежак.

Али, папирни млинови се вероватно ослањају на предлошке коорчаника на масовно производе, каже Адриан Барнетт, статистичар у Куеенсланду Универзитета у технологији у Брисбанеу, у Аустралији, који би могли да их открију великим језичким моделима који анализирају узорке у текстовима. Барнетт и његове колеге развили су модел и објавили своју анализу¹ На преживљачком серверу Биоркив прошлог месеца. Још није прегледан за рецензију. Они наглашавају да њихове налазе треба да провере људски стручњаци и нису потврђени случајеви истраживачких превара.

Дан Адама, оснивач фирме за интегритет истраживања чистим небо у Лондону, каже да су процене анализе сличне онима које је идентификовано скрининг софтвера за истраживање-интегритет који је његова фирма развијена назвала аларм Папермилл. Али он је упозорио да је приступ који се користио аутори унапред користили могле да означавају законито документе и потребна је додатна верификација.

Сумњиви папирни млин

Барнетт и његове колеге обучавали су језик који је назвао БЕРТ-ом како би се разликовао између „истинских“ студија рака и повукао папире који су навели као укључивање „сумњивих активности папира“ од стране јавне базе података који се одржава у ретрацтион „ГЛОЧА“. Модел БЕРТ скенира наслове и сажетке за одређене речи и изразе које сарађује са активношћу папира, сличан процес за филтрирање нежељене поште е-маилове.

Утврђивање прибављава ретко се наводе када је студија створила да је компанија за папирну млин, али сат увлачење је развио сопствене критеријуме – на основу његовог извештавања и прегледи на хиљаде обавештења – да доделе утечене радове као сумњиче на чланке у папира, специјалиста за академске издавачке и суоснивач Академског гледања и суоснивача стражара и суоснивача стражара.

Након сажетака и наслова и наслова АИ, АИ алат је дао сваки чланак о резултатима вероватноће колико подсећа на осумњичене производе у повученом папиру. У тесту 276 повучених радова и 275 оригиналних радова који нису били укључени у податке о обуци, Берт је био прецизан 91%. Лажна негативна стопа – удео чланака за папирним млином да алат није успео да се идентификује – било је око 13% (37 од 276). Лажна позитивна стопа – број истинских радова који је погрешно означио – било је око 4% (12 од 275).

АИ алат је затим коришћен за екрану 2,6 милиона радова на истраживању рака – идентификовано из базе базе Биомедицинске литературе – који су објављени у 11.632 часописа између 1999. и 2024. године. Алат је идентификовао 261.2445 радова као сумњиве производе за истраживање папира.

Анализа такође сугерише да се активност у млину папира стрмо у последње две деценије порасла. Само 1% публикација карцинома у почетку 2000-их означено је АИ алатом који је вероватно произведен папирним млином, али то је прерастао на више од 15% почетком 2020-их, врхунац 2022. године у 2023. и 2024. години.

Али, дан каже да резултати вероватно укључују много легитимних радова. Имати једнак број истинских и проблематичних радова у подацима о обуци не представља тактично истраживачку литературу, у којој су лажни папири много ређи. Ова неусклађеност, каже, може да надува лажну позитивну стопу када се примењује на податке о стварном свету.

Тим је пронашао „без доказа“ да је удео предвиђених чланака Милл Милл-а надуван у својој анализи, каже коаутор Баптисте Сцанцар, научник података о француском институту за високо образовање и истраживање у храни, пољопривреди и животној средини у Реннесу. „Прави удео чланака млина папира у истраживању рака није познато и вероватно врло висок“, додаје он. „Вјерујемо да се подаци пријаве у рукопису подцењују.“