Неки ризици великих језичких модела могу се ублажити ако су алати подвргнути рецензији вршњака.Кредит: Маттео делла Торре / Нурпхото / Гетти
Нико од најчешће коришћених великих језичких модела (ЛЛМС) који се брзо уплења на то како се хуманост стиче знање са независним рецензијама рецензије у истраживачком часопису. То је запажено одсуство. Пеер-рецензирана публикација помаже јасно о томе како ЛЛМС ради и помаже у процени да ли раде оно што они желе да ураде.
Прочитајте папир: Деепсеек-Р1 подстакнуће образложење у ЛЛМС-у кроз арматурно учење
То се мења са публикацијом1 у Природа детаља о Р1, модел који је произвео Деепсеек, технолошка фирма са седиштем у Хангзхоуу, Кини. Р1 је модел отвореног тежине, што значи да, иако истраживачи и јавност не добијају све своје изворне кодекс и податке о обуци, могу слободно преузети, користити, тестирати и градити на њему без ограничења. Вредност вештачке интелигенције на отвореном (АИ) постаје све широко препозната. У јулу, америчка управа Доналд Трумпова рекла је да су такви модели „суштински за академска истраживања“. Више фирми ослобађа своје верзије.
Пошто је Р1 пуштање у јануару на загрлицу Лице, АИ Цоммунити платформу, постао је најпродаванији модел платформе за сложено решавање проблема. Сада је модел прегледао осам стручњака за процену оригиналности, методологије и робусности рада. Рад се објављује заједно са извештајима рецензената и одговорима аутора. Све је то добродошао корак ка транспарентности и обновљивости у индустрији у којој су непрекидни захтеви и хипе пречесто пречесто нормално.
АИ може да научи да покаже своје радно време путем суђења и грешке
Деепсееков папир фокусиран је на технику коју је фирма користила за тренирање Р1 на „разлог“. Истраживачи су примењивали ефикасну и аутоматизовану верзију „суђења, грешке и награђивања“ који се зове арматурно учење. У томе, модел сазнаје стратегије резоновања, попут верификације сопственог рада, а да их не утиче људске идеје о томе како то учинити.
У јануару је Деепсеек такође објавио прерађивач који је изнео приступ истраживачима и перформансе модела на низ мерила2. Такви технички документи, који се често називају модел или системске картице могу дивље варирати у информацијама које садрже.
У рецензији, насупрот томе, а не примање једносмјерног тока информација, спољни стручњаци могу постављати питања и затражити више информација у колаборативном процесу који надгледа и управља независна трећа страна: уредник. Тај процес побољшава јасноћу радова, осигуравајући да аутори оправдају своје тврдње. То неће увек довести до великих промена, али побољшава поверење у студију. За програмере АИ, то значи да је њихов рад ојачан и зато је веродостојнијим различитим заједницама.
Криза за рецензију: Како поправити преоптерећени систем
Рецензија вршњака такође пружа протутежу праксу АИ програмера који обележавају сопствени домаћи задатак одабиром референтних мерила која својим моделима показују у најбољем светлу. Бенцхмаркови се могу прецењивати могућности модела, на пример, обуком о подацима који укључују примера питања и одговора, омогућавајући моделу да научи тачан одговор3.
У случају Деепсеекових судија су поставило питање да ли се ова пракса могла догодити. Фирма је пружила детаље о својим покушајима да ублажи контаминацију података и укључивало је додатне процене користећи референтне вредности објављене тек након што је модел пуштен.
Рецензија вршњака довела је до других важних промена у папиру. Један је био да се осигура да су аутори решили сигурност модела. Сигурност у АИ значи избегавање ненамерних штетних последица, од олакшавања уграђених пристраности у излазама до додавања гардела који спречавају АИС да омогући АИС да омогуће цибератске ударце. Неки виде отворене моделе као мање сигурне од власничких модела, јер, једном када их преузме корисници, они су изван контроле програмера (које је речено, отворени модели такође омогућавају широку заједницу да разуме и поправи мане).
Како је Кина створила АИ Модел Деепсеек и шокирала свет
Рецензенти Р1 указали су на недостатак информација о безбедносним тестовима: на пример, није било процена колико би било лако изградити на Р1 да би се створио несигурни модел. Као одговор, Деепсееков истраживачи додали су важне детаље на папир, укључујући одељак који је у искрињу оцијенио сигурност модела и упоређивао је са ривалским моделима.
Фирме почињу препознати вредност спољног надзора. Прошлог месеца, ОпенАИ и антропиц, и са седиштем у Сан Франциску, Калифорнији, тестирали су моделе једни друге користећи сопствене процесе интерне процене. Обоје су пронашли питања која су пропустили њихови програмери. У јулу, Паришко Мистрал АИ објавио је резултате процене животне средине свог модела, у сарадњи са спољним консултантима. Мистрал се нада да ће то побољшати транспарентност извештавања стандарда широм индустрије.
С обзиром на брз темпо на којем се АИ развија и ослободи се на друштву, ови напори су важни кораци. Али већина недостаје независност рецензираног истраживања, које, упркос својим ограничењима, представља златни стандард за валидацију.
Научници се стају у Деепсеек: Како користе модел Блоцкбустер АИ
Неке компаније се брину да би објављивање могло дати интелектуално власништво – ризик, с обзиром на огромну финансијску инвестицију да су такви модели примили. Али, као што је приказано са ПриродаПубликација Гоогле-овог медицинског ЛЛМ-а мед-длан, рецензија је могућа за власничке моделе4.
Рецензије вршњака Ослањајући се на независним истраживачима начин је бирање хипера у АИ индустрији. Тврдње који се не могу верификовати су прави ризик за друштво, с обзиром на то колико је постала свеприсутна ова технологија. Надамо се да ће из тог разлога више АИ фирми предати своје моделе надгледањем публикације. Преглед не значи давање апартмана приступаћи тајнама компанија. Али то значи да је спремно за прављење резервне копије изјава са доказима и осигурање да се тврдње потврде и разјасни.
