OpenAI je objavio da su njegovi agenti veštačke inteligencije stupili u interakciju sa nekoliko vladinih sajtova SAD na iznenađujuće načine, otkriće koje se javlja tokom stalnog pregleda neistraženog ponašanja njihovih modela.
New York Times, pozivajući se na bezbednosne istraživače i osobu koja je upućena u incidente, izvestio je da je jedan od tih sajtova američko Ministarstvo prosvete.
Modeli giganta veštačke inteligencije su pristupili javno dostupnim informacijama na dva sajta koje vodi Komisija za hartije i berze (SEC), kao i podacima U.S. Census Bureau, otkrila je kompanija 25. septembra.
OpenAI nije pronašao nikakvu upotrebu SEC kredencijala, pristup računima ili nepublicnim informacijama, promene SEC podataka ili sistema, niti dokaze o kompromitovanju ili ranjivosti, saopštila je kompanija.
Ovo otkrivanje dolazi u trenutku pojačane globalne zabrinutosti da AI sistemi mogu da iskorače izvan ljudske kontrole i da se ugrade na spoljne veb-sajtove, kao i u kontekstu zahteva industrije da se uspori razvoj AI, što OpenAI podržava.
Portparolka OpenAI-a Liz Bourgeois izjavila je u saopštenju da centar nastavlja sa pregledom „neusklađenog ponašanja modela“ — što znači da AI sistemi deluju na načine koji nisu željeni — i da obaveštava organizacije kada identifikuje potencijalne uticaje na njihove sisteme.
Izvršni direktor OpenAI-a Sam Altman rekao je na društvenim mrežama u petak da postoji „opsežan i kontinuiran pregled u vezi sa korišćenjem pristupa internetu od strane naših agenata tokom treniranja i evaluacije.“
Pokušaj hakovanja kancelarije za građanska prava Ministarstva obrazovanja
AI evaluator i istraživačka laboratorija Transluce saopšila je u petak da je kroz nezavisno istraživanje takođe otkrila da su agenti koji su se činili da potiču iz OpenAI pokušali da izvedu osnovni hak na veb sajt Ministarstva prosvete namenjen kancelariji za građanska prava, što nije bilo uspešno.
„Pregledi sistema“ Ministarstva obrazovanja su otkrili „nema dokaza o uticaju na naš sajt ili baze podataka“, rekao je portparol ministarstva u petak.
The Times je rekao da OpenAI nastavlja sa istragom pokušaja hakovanja u Ministarstvu prosvete.
Portparol Translucea rekao je da je u okviru istrage naišao na podatke na otvorenom webu koji su otkrili nove detalje o aktivnostima nekih ranije identifikovanih OpenAI agenata na vladinim sajtovima SAD i to je prijavljeno OpenAI-u.
Transluce je otkrio „dodatnu lošu aktivnost, od koje deo nije jasno pripisan OpenAI-u“, koja je bila usmerena na druge vladine agencije, uključujući Ministarstvo pravde i Ministarstvo trgovine, kao i neke državne vladine sajtove u Kaliforniji, Merilendu, Ilinoisu, Teksasu i Njujorku.
Modeli su „koristili sajtove na neočekivane načine i ponekad kršili eksplicitne politike korišćenja“, izjavio je Transluce u saopštenju.
OpenAI je saopštio da razmatra Transluceovo izveštavanje.
OpenAI kaže da pretrage deluju usmerene na rutinske zadatke istraživanja
Ako OpenAI obavesti organizacije koje su identifikovane kao pogođene neočekivanim ponašanjem modela, to ne znači da je došlo do sigurnosnog incidenta, saopštila je kompanija, i može ukazivati na dizajnerski problem ili sigurnosnu slabost koju bi organizacije želele da isprave.
Većina aktivnosti koje OpenAI kaže da je do sada pregledao obuhvatala je rutinske zadatke istraživanja u kojima su agenti pristupali javnom vebu kako bi odgovorili na pitanja, uključujući vladine sajtove smatrane autoritativnim izvorima javnih informacija.
Nekoliko kompanija je u poslednjih nekoliko meseci objavilo incidente kada su rekli da su njihovi modeli ponašali nepredvidivo ili su se upustili u provaljivanje u veb-sajtove ili sisteme drugih organizacija. OpenAI je u julu objavio da su dva od njegovih najmoćnijih AI modela bila odgovorna za sajber-napad na AI startup Hugging Face.
Altman je u svom postu na društvenim mrežama u petak rekao da je incident u Hugging Face-u „još uvek najteži događaj koji smo videli.“
Ovaj događaj je izazvao široku paniku u industriji i šire oko toga da AI modeli izlaze iz kontrole, a nekoliko konkurentskih AI laboratorija iznelo je slična saopštenja u danima i nedeljama koje su usledile.
OpenAI je najnovije podelio šest izveštaja o „neočekivanom ili zabrinjavajućem“ ponašanju AI modela i uveo okvir za praćenje, praćenje i otkrivanje slučajeva onoga što je nazvao neusaglašenošću.
