ОпенАИ признаје да је брза ињекција ту да остане јер предузећа заостају у одбрани

Освежавајуће је када водећа АИ компанија изјави очигледно. У детаљном посту о ојачавању ЦхатГПТ Атласа против брзог убризгавања, ОпенАИ је признао оно што практичари безбедности знају годинама: "Брзо убризгавање, слично као преваре и друштвени инжењеринг на вебу, тешко да ће икада бити у потпуности „решено“."

Оно што је ново није ризик – то је признање. ОпенАИ, компанија која примењује један од најчешће коришћених АИ агената, јавно је потврдила да режим агента „проширује површину безбедносних претњи“ и да чак ни софистицирана одбрана не може да понуди детерминистичке гаранције. За предузећа која већ користе вештачку интелигенцију у производњи, ово није откриће. То је валидација — и сигнал да јаз између начина на који се АИ примењује и начина на који се брани више није теоретски.

Ништа од овога не изненађује никога ко користи АИ у производњи. Оно што брине лидере у области безбедности јесте јаз између ове реалности и спремности предузећа. Истраживање ВентуреБеат-а међу 100 техничких доносиоца одлука показало је да је 34,7% организација применило наменску одбрану од брзих ињекција. Преосталих 65,3% или није купило ове алате или није могло да потврди да јесу.

Претња је сада званично трајна. Већина предузећа још увек није опремљена да то открије, а камоли да заустави.

ОпенАИ-јев аутоматизовани нападач заснован на ЛЛМ-у пронашао је празнине које су црвени тимови пропустили

ОпенАИ-јева одбрамбена архитектура заслужује преиспитивање јер представља тренутни плафон онога што је могуће. Већина, ако не и сва, комерцијална предузећа неће моћи да то реплицирају, што напредак који су поделили ове недеље чини још релевантнијим за безбедносне лидере који штите АИ апликације и платформе у развоју.

Компанија је изградила ан "Аутоматски нападач заснован на ЛЛМ-у" обучени од краја до краја са учењем поткрепљења како би се откриле рањивости брзе ињекције. За разлику од традиционалног црвеног тима који показује једноставне грешке, ОпенАИ систем може "усмерити агента на извршавање софистицираних, штетних токова рада дугог хоризонта који се одвијају у десетинама (или чак стотинама) корака" изазивањем специфичних излазних низова или покретањем ненамерних позива алата у једном кораку.

Ево како то функционише. Аутоматски нападач предлаже ињекцију кандидата и шаље је спољном симулатору. Симулатор покреће супротан приказ начина на који би се циљани агент жртве понашао, враћа потпуно образложење и траг акције, а нападач понавља. ОпенАИ тврди да је открио обрасце напада који "није се појавио у нашој кампањи за црвени тим или спољним извештајима."

Један напад који је систем открио показује улог. Злонамерна е-пошта постављена у пријемно сандуче корисника садржала је скривена упутства. Када је Атлас агент скенирао поруке како би нацртао одговор ван канцеларије, уместо тога је следио убачени упит, састављајући писмо о оставци извршном директору корисника. Одсутност никада није написана. Агент је дао оставку у име корисника.

ОпенАИ је одговорио испоруком "нови противнички обучен модел и ојачане заштитне мере у окружењу." Одбрамбени систем компаније сада комбинује аутоматизовано откривање напада, супарничку обуку против новооткривених напада и заштитне мере на нивоу система ван самог модела.

Насупрот томе колико искошене и заштићене АИ компаније могу бити у вези са својим црвеним тимским резултатима, ОпенАИ је био директан у вези са границама: "Природа брзог убризгавања чини детерминистичке безбедносне гаранције изазовним." Другим речима, то значи „чак и са овом инфраструктуром, они не могу да гарантују одбрану“.

Ово признање долази када предузећа прелазе са копилота на аутономне агенте – управо када промптно убризгавање престане да представља теоретски ризик и постане оперативни ризик.

ОпенАИ дефинише шта предузећа могу да ураде да остану безбедна

ОпенАИ је вратио значајну одговорност на предузећа и кориснике које подржавају. То је дугогодишњи образац који безбедносни тимови треба да препознају из модела подељене одговорности у облаку.

Компанија препоручује експлицитно коришћење режима одјављеног система када агенту није потребан приступ аутентификованим сајтовима. Саветује да пажљиво прегледате захтеве за потврду пре него што агент предузме последичне радње попут слања е-поште или довршавања куповине.

И упозорава на широка упутства. "Избегавајте претерано широка упутства попут „прегледајте моје имејлове и предузмите све што је потребно“," ОпенАИ је написао. "Широка ширина олакшава скривеном или злонамерном садржају да утиче на агента, чак и када постоје мере заштите."

Импликације су јасне у вези са агентурном аутономијом и њеним потенцијалним претњама. Што више независности дате АИ агенту, то ћете створити више површине за напад. ОпенАИ гради одбрану, али предузећа и корисници које штите сносе одговорност за ограничавање изложености.

Где се данас налазе предузећа

Да би разумео колико су предузећа заправо припремљена, ВентуреБеат је анкетирао 100 техничких доносиоца одлука у различитим величинама компанија, од стартапова до предузећа са 10.000+ запослених. Поставили смо једноставно питање: да ли је ваша организација купила и имплементирала наменска решења за брзо филтрирање и откривање злоупотребе?

Само 34,7% је рекло да. Преосталих 65,3% или је рекло не или није могло да потврди статус своје организације.

Та подела је важна. То показује да брза одбрана ињекцијом више није концепт у настајању; то је категорија производа за отпрему са стварним усвајањем у предузећу. Али то такође открива колико је тржиште још рано. Скоро две трећине организација које данас користе системе вештачке интелигенције раде без наменске заштите, ослањајући се уместо тога на заштитне мере подразумеваног модела, интерне политике или обуку корисника.

Међу већином анкетираних организација без наменске одбране, преовлађујући одговор у вези са будућим куповинама била је неизвесност. Када су упитани о будућим куповинама, већина испитаника није могла да артикулише јасан временски оквир или пут доношења одлуке. Најизразитији сигнал није био недостатак доступних добављача или решења – то је била неодлучност. У многим случајевима, чини се да организације примењују вештачку интелигенцију брже него што формализују начин на који ће она бити заштићена.

Подаци не могу да објасне зашто усвајање касни – да ли због буџетских ограничења, конкурентских приоритета, незреле примене или уверења да су постојеће заштитне мере довољне. Али једна ствар је јасна: усвајање АИ превазилази безбедносну спремност АИ.

Проблем асиметрије

Одбрамбени приступ ОпенАИ користи предности које већина предузећа нема. Компанија има приступ сопственим моделима из беле кутије, дубоко разумевање свог одбрамбеног скупа и рачунар за покретање континуираних симулација напада. Његов аутоматизовани нападач добија "привилегован приступ траговима образложења … браниоца," дајући га "асиметрична предност, повећавајући изгледе да може надмашити спољне противнике."

Предузећа која примењују АИ агенте раде у значајном неповољном положају. Док ОпенАИ користи приступ белој кутији и континуиране симулације, већина организација ради са моделима црне кутије и ограниченом видљивошћу процеса расуђивања својих агената. Мало њих има ресурсе за аутоматизовану инфраструктуру црвеног тима. Ова асиметрија ствара све већи проблем: како организације проширују примену АИ, њихове одбрамбене способности остају статичне, чекајући да циклуси набавке сустигну.

Независни произвођачи одбране брзе ињекције, укључујући Робуст Интеллигенце, Лакера, Промпт Сецурити (сада део СентинелОне) и други покушавају да попуне ову празнину. Али усвајање је и даље ниско. 65,3% организација које немају наменску одбрану ради на свим уграђеним заштитним мерама које њихови провајдери модела укључују, плус документи о политици и обука за подизање свести.

Пост ОпенАИ јасно показује да чак ни софистицирана одбрана не може понудити детерминистичке гаранције.

Шта ЦИСО треба да преузму из овога

ОпенАИ-јева најава не мења модел претње; то потврђује. Брзо убризгавање је стварно, софистицирано и трајно. Компанија која испоручује најнапреднијег АИ агента управо је рекла лидерима безбедности да ову претњу очекују на неодређено време.

Следе три практичне импликације:

• Што је већа аутономија агента, већа је површина напада. Смернице ОпенАИ за избегавање широких упита и ограничавање пријављеног приступа се примењују изван Атласа. Сваки АИ агент са широком ширином и приступом осетљивим системима ствара исту изложеност. Као што је Форестер приметио током њиховог годишњег безбедносног самита раније ове године, генеративна вештачка интелигенција је агент хаоса. Испоставило се да је ово предвиђање далековидно на основу резултата тестирања ОпенАИ објављених ове недеље.

• Откривање је важније од превенције. Ако детерминистичка одбрана није могућа, видљивост постаје критична. Организације треба да знају када се агенти понашају неочекивано, а не само да се надају да заштитне мере постоје.

• Одлука о куповини и изградњи је активна. ОпенАИ много улаже у аутоматизовано организовање црвеног тима и акузаторску обуку. Већина предузећа ово не може да понови. Питање је да ли алати треће стране могу да попуне јаз и да ли ће 65,3% без наменске одбране усвојити пре него што инцидент изазове проблем.

Закључак

ОпенАИ је навео оно што су практичари безбедности већ знали: Промптна ињекција је трајна претња. Компанија која се највише залаже за агентску вештачку интелигенцију потврдила је ове недеље да „режим агента … проширује површину безбедносне претње“ и да одбрана захтева стална улагања, а не једнократну поправку.

34,7% организација које воде наменску одбрану није имуно, али су у позицији да открију нападе када се догоде. Већина организација се, насупрот томе, ослања на стандардне заштитне мере и документе о политици, а не на наменске заштите. Истраживање ОпенАИ јасно показује да чак ни софистицирана одбрана не може понудити детерминистичке гаранције – наглашавајући ризик таквог приступа.

Овонедељна најава ОпенАИ-а наглашава оно што подаци већ показују: јаз између примене вештачке интелигенције и заштите вештачке интелигенције је стваран — и све се шири. Чекање на детерминистичке гаранције више није стратегија. Лидери безбедности морају да делују у складу са тим.