Новоописани тренер за вештачку интелигенцију даје повратне информације како би рецензије колега биле конкретније и корисније.Заслуге: Мохд Иззуан Рослан/Алами
Тренер за вештачку интелигенцију може помоћи рецензентима да пруже конструктивније и мање токсичне повратне информације, према новој студији1. Међутим, остаје да се види да ли то побољшава квалитет истраживачких радова.
Научници који врше рецензије колега се све више окрећу АИ за различите задатке, укључујући тражење релевантне литературе, изоштравање прозе и још много тога.
Џејмс Зоу, компјутерски научник са Универзитета Станфорд у Калифорнији, и његове колеге су кренули да процене да ли би велики језички модели (ЛЛМ) могли да помогну у решавању уобичајених притужби на рецензије колега: повратне информације често нису детаљне или имају погрешан тон. На годишњем састанку Удружења за рачунарску лингвистику 2023. у Торонту, Канада, на пример, аутори радова са конференција означили су 12,9% рецензија као лошег квалитета.
То је углавном зато што су рецензије биле нејасне, каже Зоу, са широким, једноставним коментарима као што је „није роман“. Рецензије такође, ретко, могу бити непрофесионалне или укључивати личне нападе, са коментарима попут „ови аутори не знају о чему причају“, каже Зоу. Други праве чињеничне грешке, на пример критикују рад због изостављања анализе када та анализа, у ствари, постоји.
Тоне цхецкер
Зоу и његове колеге прикупили су десетак рецензија које су биле нејасне, непрофесионалне или нетачне, заједно са оним што су сматрали одговарајућим повратним информацијама о тим рецензијама. Они су дали те куриране податке ЛЛМ-у како би помогли у прецизирању његових одговора и искористили то за развој агента за повратне информације за преглед, који користи укупно пет ЛЛМ-а за сарадњу и провјеру рада једни других.
Тим је ставио свој алат за вештачку интелигенцију у рад уочи Међународне конференције о представљању учења у Сингапуру 2025. Ова велика АИ конференција привукла је више од 10.000 поднесака у последњих неколико година. Сваки рад рецензирају 3-4 особе и око 30% је прихваћено.
АИ, пеер ревиев и људска активност науке
Група је насумично одабрала око 20.000 већ написаних рецензија, користила је Агента за повратне информације да их процени и рецензентима послала повратне информације о АИ алату. Већину времена систем вештачке интелигенције је сугерисао начине на које би рецензенти могли да буду конкретнији и конструктивнији, често користећи фразу „како би ове повратне информације учиниле делотворнијим…“.
