Ллама 3 је велики језички модел у власништву технолошке фирме Мета.Заслуге: МаурицеНорберт/Алами
Четботови са вештачком интелигенцијом (АИ) лошији су у проналажењу тачних информација и расуђивања када су обучени за велике количине садржаја ниског квалитета, посебно ако је садржај популаран на друштвеним медијима1налази препринт објављен на арКсив 15. октобра.
У науци о подацима, подаци доброг квалитета морају да испуне одређене критеријуме, као што су граматички исправни и разумљиви, каже коаутор Зхангианг Ванг, који проучава генеративну вештачку интелигенцију на Универзитету Тексас у Остину. Али ови критеријуми не успевају да обухвате разлике у квалитету садржаја, каже он.
Ванг и његове колеге су желели да виде ефекте великих језичких модела (ЛЛМ) обучених на подацима ниског квалитета — дефинисаним као кратки, популарни постови на друштвеним медијима или они који садрже површан или сензационалистички садржај. Они су посматрали како ови подаци утичу на размишљање модела, проналажење информација из дугих уноса, етику одговора и особине личности модела.
Тим извештава да модели којима су дати подаци ниског квалитета прескачу кораке у процесу закључивања – или уопште не користе резоновање – што доводи до тога да модел пружа нетачне информације о теми, или када су аутори представили питање са вишеструким избором, модел би изабрао погрешан одговор. У скуповима података са мешавином нежељених и висококвалитетних података, негативан ефекат на резоновање се повећавао како се повећавао удео нежељених података. Рад није рецензиран.
Налази подржавају дуготрајно начело вештачке интелигенције: важност квалитета података, каже Мехвиш Насим, истраживач вештачке интелигенције на Универзитету Западне Аустралије у Перту. „Чак и пре него што су људи почели да раде на великим језичким моделима, говорили смо да ће, ако дате смеће АИ моделу, он произвести ђубре“, додаје она.
Смеће унутра, смеће напоље
Ванг и његове колеге су користили милион јавних објава на платформи друштвених медија Кс из постојеће базе података за обуку модела отвореног кода: Ллама 3, ЛЛМ из технолошке фирме Мета у Менло Парку, Калифорнија, и три верзије Квен-а, које је развила Алибаба у Хангџоуу, Кина. Квен је модел резоновања, попут ДеепСеек-овог Р1 модела и ОпенАИ-овог о1, што значи да је дизајниран да произведе кораке расуђивања како би се дошао до одговора на упит корисника. Ллама је, међутим, језички модел прилагођен инструкцији и његова способност расуђивања је мање напредна.
Да би одредио особине личности модела, тим је користио упитнике за психологију. Пре тренинга о нежељеним подацима, Ллама је показао пријазност, екстровертност, савесност, отвореност и мало нарцизма, кажу аутори. Али како је лама добијала више нежељених података, њене негативне особине су се појачавале, а психопатија се појавила, према једном од упитника.
Да би прилагодили и побољшали моделе током времена, истраживачи могу прилагодити брза упутства. Када је тим покушао да уради ово за Ллама модел обучен искључиво на нежељеним подацима, открили су да је то само делимично побољшало перформансе, као и повећање количине података који нису нежељени, који се користе за обуку. Модел је такође наставио да прескаче кораке када је тим покушао да га охрабри да размисли и поправи грешке у свом резоновању, сугеришући да би могле бити потребне различите методе за ублажавање ефекта нежељених података.
