Пратите ЗДНЕТ: Додајте нас као жељени извор на Гоогле-у.
ЗДНЕТ-ови кључни закључци
- Агентску АИ технологију обележава недостатак откривања ризика.
- Неки системи су гори од других.
- Програмери вештачке интелигенције морају да се појачају и преузму одговорност.
Агентска технологија се у потпуности креће у главни ток вештачке интелигенције са најавом ове недеље да је ОпенАИ ангажовао Петера Стеинберга, творца софтверског оквира отвореног кода ОпенЦлав.
Софтвер ОпенЦлав привукао је велику пажњу прошлог месеца не само због омогућавања дивљих могућности – агената који могу, на пример, да шаљу и примају е-пошту у ваше име – већ и због драматичних безбедносних недостатака, укључујући могућност да у потпуности отму ваш лични рачунар.
Такође: Од Цлавдбота до ОпенЦлав-а: Овај вирусни АИ агент се брзо развија – и то је гориво из ноћне море за професионалце у области безбедности
С обзиром на фасцинацију агентима и колико се још мало разуме о њиховим предностима и недостацима, важно је да су истраживачи са МИТ-а и сарадничких институција управо објавили масивну анкету о 30 најчешћих система вештачке интелигенције.
Резултати јасно показују да је агентска вештачка интелигенција нешто као безбедносна ноћна мора у овом тренутку, дисциплина обележена недостатком обелодањивања, недостатком транспарентности и упадљивим недостатком основних протокола о томе како агенти треба да раде.
Такође: ОпенЦлав је безбедносна ноћна мора – 5 црвених заставица које не би требало да игноришете (пре него што буде прекасно)
Недостатак транспарентности
Највеће откриће извештаја је колико је тешко идентификовати све ствари које би могле поћи по злу са агентском вештачком интелигенцијом. То је углавном резултат недостатка откривања од стране програмера.
„Идентификујемо стална ограничења у извештавању око екосистемских и безбедносних карактеристика агенсних система“, написао је главни аутор Леон Стауфер са Универзитета у Кембриџу и сарадници на МИТ-у, Универзитету у Вашингтону, Универзитету Харвард, Универзитету Станфорд, Универзитету Пенсилваније и Хебрејском универзитету у Јерусалиму.
У осам различитих категорија откривања, аутори су истакли да већина система агената не нуди никакве информације за већину категорија. Пропусти се крећу од недостатка обелодањивања потенцијалних ризика до недостатка обелодањивања тестирања треће стране, ако их има.
Табела са свим пропустима у откривању система агената у црвеној боји.
Универзитет Кембриџ и др.
Извештај од 39 страница, „Индекс вештачке интелигенције 2025: документовање социотехничких карактеристика примењених система вештачке интелигенције,“ који се може преузети овдепуна је драгуља о томе колико се мало може пратити, пратити, надгледати и контролисати у данашњој агентској АИ технологији.
На пример, „За многе агенте предузећа није јасно из јавно доступних информација да ли постоји праћење појединачних трагова извршења“, што значи да не постоји јасна могућност да се тачно прати шта агентски АИ програм ради.
Такође: Агенти вештачке интелигенције већ изазивају катастрофе – а ова скривена претња би могла да поремети ваше безбедно увођење
„Дванаест од тридесет агената не обезбеђује праћење коришћења или само обавештава када корисници достигну ограничење стопе“, приметили су аутори. То значи да не можете чак ни да пратите колико агентска вештачка интелигенција троши дати рачунарски ресурс – што је кључна брига за предузећа која морају да имају буџет за ове ствари.
Већина ових агената такође не сигнализира стварном свету да су АИ, тако да не постоји начин да знате да ли имате посла са човеком или ботом.
„Већина агената подразумевано не открива своју АИ природу крајњим корисницима или трећим лицима“, приметили су. Откривање би, у овом случају, укључивало ствари као што је стављање воденог жига на генерисану датотеку слике тако да је јасно када је слика направљена путем вештачке интелигенције или одговарање на датотеку „роботс дот ткт“ веб локације да би се агент на сајту идентификовао као аутоматик, а не као човек.
Неки од ових софтверских алата не нуде начин да зауставе рад датог агента.
Алибабин МобилеАгент, ХубСпотов Бреезе, ИБМ-ов ватсонк и аутоматизације које је креирао Берлин, немачки произвођач софтвера н8н, „недостају документоване опције заустављања упркос аутономном извршавању“, рекли су Штауфер и тим.
„За пословне платформе понекад постоји само опција да се зауставе сви агенти или да се повуче имплементација.“
Сазнање да не можете зауставити нешто што ради погрешну ствар мора бити један од најгорих могућих сценарија за велику организацију у којој штетни резултати надмашују предности аутоматизације.
Аутори очекују да ће ова питања, питања транспарентности и контроле, опстати код агената, па чак и постати истакнутија. „Изазови управљања који су овде документовани (фрагментација екосистема, тензије понашања на вебу, одсуство процена специфичних за агенте) ће добити на значају како се агентске способности буду повећавале“, написали су.
Штауфер и тим су такође рекли да су покушали да добију повратне информације од компанија чији је софтвер покривен током четири недеље. Отприлике четвртина контактираних је одговорила, „али само 3/30 са суштинским коментарима“. Ти коментари су укључени у извештај, написали су аутори. Они такође имају образац који се доставља компанијама за текуће исправке.
Проширујући пејзаж агентске АИ
Агентска вештачка интелигенција је грана машинског учења која се појавила у последње три године како би се побољшале могућности великих језичких модела и цхатботова.
Уместо да им се једноставно додели један задатак који диктира текстуални упит, агенти су АИ програми који су прикључени на спољне ресурсе, као што су базе података, и којима је додељена одређена мера „аутономије“ за постизање циљева изван оквира дијалога заснованог на тексту.
Такође: Права агентска вештачка интелигенција је годинама далеко – ево зашто и како стижемо тамо
Та аутономија може укључити извођење неколико корака у корпоративном току рада, као што је примање налога за куповину путем е-поште, уношење у базу података и консултовање система залиха ради доступности. Агенти су такође коришћени да аутоматизују неколико окрета интеракције са корисничком службом како би се заменили неки од основних телефона или е-поште, или текстуални упити којима би се традиционално бавио људски представник.
Аутори су одабрали агентску вештачку интелигенцију у три категорије: цхат ботови који имају додатне могућности, као што је Антхропицов алат Цлауде Цоде; проширења веб претраживача или наменски АИ претраживачи, као што је ОпенАИ-ов Атлас претраживач; и понуде софтвера за предузећа као што је Мицрософтов Оффице 365 Цопилот. То је само укус: друге студије, приметили су, покриле су стотине понуда агентске технологије.
(Откривање: Зифф Давис, ЗДНЕТ-ова матична компанија, поднела је тужбу у априлу 2025. против ОпенАИ, наводећи да је прекршила ауторска права Зифа Дејвиса у обуци и управљању својим системима вештачке интелигенције.)
Већина агената се, међутим, „ослања на мали скуп граничних модела затвореног кода“, рекли су Стауфер и тим. ОпенАИ ГПТ, Антхропицов Цлауде и Гоогле Гемини су оно на чему је изграђена већина ових агената.
Добри и лоши агенти
Студија није заснована на директном тестирању агентских алата; заснована је на „бележовању“ документације коју су обезбедили програмери и продавци. То укључује „само јавне информације из документације, веб локација, демо снимака, објављених радова и управљачких докумената“, рекли су. Они су, међутим, успоставили корисничке налоге код неких агентских система како би поново проверили стварно функционисање софтвера.
Аутори су понудили три анегдотска примера који иду у већу дубину. Позитиван пример, написали су, је ОпенАИ-ов ЦхатГПТ Агент, који може да се повеже са веб локацијама када корисник затражи у промпту да изврши задатак заснован на вебу. Агент је позитивно истакнут као једини од система агената који су посматрали и који пружа начин праћења понашања „криптографским потписивањем“ захтева претраживача које поставља.
Насупрот томе, веб претраживач Перплекити Цомет звучи као безбедносна катастрофа. Програм, открили су Стауфер и тим, нема „нема процена безбедности специфичних за агенте, тестирања трећих страна или откривања перформанси референтних вредности“ и „Неугодност […] није документовао методологију за процену безбедности или резултате за Цомет“, додајући, „Нису документовани никакви приступи изолацији или задржавању осим ублажавања брзих ињекција“.
Такође: Гартнер позива компаније да „блокирају све АИ претраживаче“ – шта се крије иза страшног упозорења
Аутори су приметили да је Амазон тужио Перплекити, рекавши да претраживач Цомет погрешно представља своје радње серверу као да је човек, а не бот, што је пример недостатка идентификације о којем расправљају.
Трећи пример је Бреезе скуп агената од произвођача софтвера за предузећа ХубСпот. То су аутоматизације које могу да комуницирају са системима евиденције, као што је „управљање односима са клијентима“. Алати Бреезе су мешавина доброг и лошег, открили су. С једне стране, они су сертификовани за многе корпоративне мере усклађености, као што су усклађеност са СОЦ2, ГДПР и ХИПАА.
С друге стране, ХубСпот не нуди ништа када је у питању безбедносно тестирање. У њему се наводи да је агенте Бреезе проценила независна безбедносна фирма ПацкетЛабс, „али не пружа методологију, резултате или детаље ентитета за тестирање“.
Пракса демонстрирања одобрења усклађености, али не откривања стварних безбедносних процена је „типична за пословне платформе“, напомињу Стауфер и тим.
Време је да програмери преузму одговорност
Оно што извештај не испитује су инциденти у дивљини, случајеви у којима је агентска технологија заправо произвела неочекивано или нежељено понашање које је резултирало непожељним исходима. То значи да још увек не знамо пун утицај недостатака које су аутори идентификовали.
Једна ствар је апсолутно јасна: Агентска АИ је производ развојних тимова који доносе одређене изборе. Ови агенси су алати које стварају и дистрибуирају људи.
Као таква, одговорност за документовање софтвера, за ревизију програма због безбедносних разлога и за обезбеђивање контролних мера лежи директно на ОпенАИ, Антхропиц, Гоогле, Перплекити и другим организацијама. На њима је да предузму кораке како би поправили идентификоване озбиљне недостатке или ће се у супротном суочити са регулацијом на путу.
