Грешке цитирања повећавају метрику утицаја првих чланака због техничких грешака у системима часописа

Када је Тамаш Кривачи био у процесу објављивања једног од својих радова, схватио је да је једна од референци коју је укључио погрешна. Након детаљнијег погледа, Кривацхи, физичар са Барселонског института за науку и технологију, схватио је да је часопису послао погрешну референцу. Ово је било посебно забрињавајуће јер је цитирао један од својих радова, који је већ поменуо у више радова раније.

На крају је успео да пронађе проблем тамо где верује да је референца прво пошла по злу: у библиографији чланка у часопису који је објавио Спрингер Натуре.

Након детаљне инспекције, Кривацхи је приметио да када је преузео метаподатке са веб локације Спрингер Натуре за било који од својих онлајн часописа, систем издавача аутоматски ставља број чланка у оно што би требало да буде поље за број странице и аутоматски га додељује као прво издање. Али, испоставило се да корен проблема можда лежи негде другде.

Забуна са бројем артикла

Часописи само на мрежи, наравно, немају бројеве страница, напомиње Кривацхи. Док се бројеви чланака односе на редослед којим се радови објављују у оквиру свеске часописа, на пример, чланак број 1 је први чланак објављен у датом тому. „Овај број један се заправо случајно тумачи као број чланка“, каже он. Кривачи сматра да то значи да ће први чланци сваког тома вероватно добити погрешно велики број цитата.

Зато је одлучио да изврши анализу како би открио да ли је то заиста тако. Његова анализа, објављена као нерецензирани препринт на арКсивиспитао обрасце цитирања три часописа Спрингер Натуре само на мрежи: Натуре Цоммуницатионс, Научни извештаји и БМЦ јавно здравље.

Након што је упоредио прве чланке од последњих 25 томова које су заједно објавила ова три часописа са радовима сличне старости објављеним у тим истим часописима, Кривацхи каже да је открио да они „конзистентно знатно надмашују своје колеге у погледу броја цитата и референцирања“.

Према његовој анализи, сваки појединачни први чланак у свих 25 томова које су објавила три часописа заједно привлачи више цитата од просечног броја цитата рукописа објављених у истим часописима отприлике у исто време.

Од најбољих чланака у Научни извештаји и Натуре Цоммуницатионспет од 10 најцитиранијих радова били су први чланци у тому, показало је истраживање. „Једноставно се чланци пречесто помињу у поређењу са оним што би требало да буду“, каже Кривацхи.

Број цитата је вештачки повећан

Због грешака у цитирању, радови који цитирају чланке често говоре о потпуно неповезаним темама и дисциплинама, напомиње Кривацхи. „Само сам изненађен да то до сада нису приметили“, додаје он.

Проблем би могао имати неколико посљедица, упозорава Кривацхи. На пример, примећује да ће научници имати потешкоћа да пронађу релевантну научну литературу – као и радове који цитирају њихов сопствени рад – ако су референце у библиографијама покварене.

Такође је проблем што се број цитираности неких чланака – и метрика која се на њих ослања – вештачки повећава због техничке грешке, каже Кривацхи, дајући неким академицима неправедну предност када се пријављују за апликације за стипендије или високе наставничке позиције.

Кривацхи сумња да би проблем могао да утиче на све часописе Спрингер Натуре који користе бројеве чланака, уместо бројева страница. Када је упоредио своја открића са часописима неких других издавача, Кривацхи није открио исти проблем.

Чак и ако је проблем у потпуности решен, „и даље ћемо видети да број цитата у чланку број један надмашује друге већ неко време због ове агрегације и због тога што су само популарни чланци“, примећује Кривачи.

„Озбиљно схватамо све тврдње у вези са нетачним подацима – посебно када се тичу информација важних за наше ауторе“, каже портпарол Спрингер Натуре, додајући да издавач испитује ствар. „Гледајући закључке, сумњамо да би могли да доведу у заблуду због непотпуних података.“

Неес Јан ван Ецк, виши истраживач у Центру за научне и технолошке студије (ЦВТС) на Универзитету Леиден у Холандији, који је извршио накнадне анализе података Спрингер Натуре, каже да је статистика цитираности за неке радове у часопису издавача „значајно искривљена“.

Али Јан ван Ек каже да је његова анализа такође открила нетачно приписивање цитата код других издавача. „Видео сам сличне проблеме за часописе других издавача, укључујући случајеве где чланци са бројем 1 или страницом број 1 добијају превише цитата“, додаје он. „Међутим, обим је много мањи јер ови часописи објављују далеко мање чланака по броју, што резултира мањим бројем цитата који се приписују нетачном чланку.“

Јан ван Ек сматра да је грешка првенствено у алгоритму за подударање референци Цроссреф-а, који кује и региструје идентификаторе дигиталних објеката за научни садржај. „Пошто издавачи нашироко користе услугу повезивања референци Цроссреф-а, а многе низводне услуге користе метаподатке Цроссреф-а (нпр. Дименсионс, ОпенАлек, ОпенЦитатионс, ОпенАИРЕ), нетачности у метаподацима Цроссреф-а могу се широко ширити“, додаје он.

Доминика Ткацзик, Цроссреф-ов директор технологије у Даблину, Ирска, слаже се да постоји око 150.000 нетачних линкова за цитате, од којих је око 25% из података које је потврдио издавач, а остатак је генерисан Цроссреф-овим процесом упаривања референци. „Аутоматско упаривање метаподатака је инхерентно изазовно, с обзиром на сложеност и буку у научним метаподацима, а такви процеси никада неће постићи 100% тачност“, каже она.

Да би решио проблем, Цроссреф планира да ажурира свој алгоритам како би створио консолидованију услугу подударања референци, каже Ткацзик, као и да поправи све постојеће погрешне везе. „Иако ниједан систем неће бити беспрекоран, нова услуга је дизајнирана тако да буде бржа и једноставнија за решавање грешака и систематских предрасуда када се појаве.“