Tinejdžeri sve više koriste AI-podržane aplikacije za mentalno zdravlje, i postoji prilika da škole iskoriste ovu tehnologiju kako bi svojim učenicima pružile više podrške.
Međutim, nova procena rizika ove popularne tehnologije poziva na oprez i za učenike i za nastavnike.
Tržište ovih aplikacija je neregulisano, a proizvodi koji su dostupni mogu biti štetni za tinejdžere, prema proceni koju su uradili Common Sense Media, neprofitna organizacija koja istražuje i zagovara zdravo korišćenje tehnologije među mladima, i Brainstorm Lab sa Stanford univerziteta.
Međutim, nisu sve AI aplikacije za mentalno zdravlje iste. Aplikacije namenjene upotrebi u školama koje održavaju ljude u procesu odlučivanja (ljudski faktor) dale su znatno bolje rezultate u proceni rizika nego one namenjene direktno potrošačima.
Za okruge koje se suočavaju sa nedostatkom školskih psihologa i savetnika koji pokušavaju da zadovolje potrebe učenika u pogledu mentalnog zdravlja, ove aplikacije mogle bi biti koristan resurs, rekao je Robbie Torney, šef za AI i digitalne procene u Youth AI Safety Institute pri Common Sense Media.
„Ove školske aplikacije za mentalno zdravlje mogu biti koristan deo omogućavanja podrške koju učenici treba da dobiju,” rekao je, „ali one ne smeju biti jedini deo te podrške.”
Dok mnogi ljudi—uključujući omladinu—turniraju ka opštim AI chat-botovima poput ChatGPT-a radi podrške za mentalno zdravlje, AI aplikacije namenjene specifičnim potrebama često tvrde da su dizajnirane uz kliničku ekspertizu i obezbeđuju terapeutske okvire, sigurnosne protokole i ponekad nadzor ljudske strane.
Tri od 10 tinejdžera koristilo je AI aplikacije za mentalno zdravlje, a još više njih koristilo je opštu aplikaciju poput ChatGPT-a za mentalnu ili emocionalnu podršku, prema odvojenim istraživanjima Common Sense Medije.
Kako je sprovedena procena
Istraživači iz Common Sense Medije i Stanfordovog Brainstorm Laba započeli su procenu uz dve „institucionalne” aplikacije i tri potrošačke aplikacije, procenjujući njihovu sigurnost i korisnost. Da bi odredili da li su aplikacije bezbedne, istraživači su kreirali probne naloge kako bi proverili mogu li aplikacije prepoznati upozoravajuće znakove raznih stanja kao što su anksioznost, ADHD, depresija i psihotični poremećaji. Takođe su testirali da li aplikacije mogu tačno proceniti težinu situacije, pružiti resurse za krizu i uputiti korisnike ka profesionalnoj pomoći kada je to neophodno, te da li ne daju štetne savete koji bi mogli pogoršati simptome korisnika ili odložiti odgovarajući tretman.
Iako tehnologija koja podržava sve testirane aplikacije deluje sličnim putem, institucionalne aplikacije Alongside i Sonar, koje su namenjene školama i održavaju ljudski nadzor, znatno su bolje ocenjene na proceni rizika.
Rizik za Sonar ocenjen je kao minimalan, a za Alongside kao nizak.
Za Sonar, učenici komuniciraju sa savetnicima za dobrobit, a ne sa AI chat-botomom. AI se koristi „da pruži kontekst o prošlim angažmanima, predloži odgovore, označi zabrinutosti i pomogne u triži,” navodi se u izveštaju.
Učenici koji koriste Alongside mogu komunicirati sa AI chat-botomom, ali je chatbot integrisan u postojeće sisteme nege škola, a ne u zaseban alat, napomenuo je izveštaj. Kada razgovori sa učenicima posegnu ka visokorizičnim temama, aplikacija obaveštava školske savetnike i administratorе. Funkcija chat-a je onemogućena ako učenik pošalje više od 60 poruka u manje od 3 sata.
Procena rizika i dalje je identifikovala neke slabosti ovih aplikacija, rekao je Torney. Alongside se mučio da identifikuje i označi znake poremećaja u ishrani, a pristrasnost prema automatizaciji mogla bi da dovede do previše oslanjanja na chatsbot kod ljudskih trenera Sonar-a, posebno bez odgovarajuće obuke.
Iako ga izveštaj pohvalno ocenjuje sa „niskim” rizikom, Alongside ozbiljno uzima u obzir preporuke, rekla je Elsa Friis, direktorka za proizvod i kliničku negu u kompaniji.
„Vidimo to povratno jugo kao deo naše odgovornosti da stalno unapređujemo bezbednost, odgovornost i podršku prilagođenu uzrastu,” rekla je. „Već smo implementirali preporuke iz evaluacije, uključujući poboljšanje našeg puta za eskalaciju poremećaja u ishrani, i nastavljamo rad na tome da iskustvo bude lakše za razumevanje mlađim učenicima.”
Education Week je pokušao da kontaktira Sonar radi komentara, ali pre objavljivanja nije dobio odgovor.
U svom sažetku, izveštaj preporučuje da aplikacija koja brzo dovodi ljudsko biće na telefon sa korisnikom u potrebi bude standard kojem bi se svi proizvodi trebali pridržavati.
Procene rizika za AI aplikacije za mentalno zdravlje takođe treba da budu značajno integrisane u ljudske sisteme nege, navodi se u proceni. Obe aplikacije Alongside i Sonar su jasne u pogledu ograničenja svojih AI funkcija i njihove aplikacije su dizajnirane da upućuju učenike na negu, a ne da je zamene, navodi se u izveštaju.
Lako dostupne potrošačke aplikacije za mentalno zdravlje pokazuju značajne nedostatke u kvalitetu
Među potrošačkim aplikacijama koje su istraživači testirali, dve su nestale sa prodavnice za aplikacije tokom procesa procene, bez prethodnog obaveštenja ili tranzicione podrške, navodi se u izveštaju. Treća potrošačka aplikacija, Wysa, dobila je ocenu rizika „neprihvatljivo”.
Procena rizika uključila je ove aplikacije jer su popularne i lako dostupne školskom uzrastu da ih samostalno preuzme, kaže Torney.
Dosledan problem sa ovim proizvodima namenjenim direktnom potrošaču jeste to što nisu uspeli da povežu informacije, rekao je.
„Ako delim informacije kroz seriju razmena u jednoj konverzaciji ili kroz više konverzacija, ljudski terapeut ili savetnik će moći tačno da poveže te delove informacija i dobije celokupnu sliku onoga što se dešava u mladom licu,” dodao je. AI može prepoznati očigledne znakove psihičkog stresa, ali tehnologija često propušta „tragove” koji bi ukazali na dublje probleme.
Ove aplikacije takođe nisu striktno sprovodile uzrasna ograničenja koja su tvrdile da koriste, i podsticale su korisnike da provode više vremena na aplikaciji.
U saopštenju, izvršna direktorka Wysa-a Jo Aggarwal izjavila je da kompanija podržava nadzor nad svojim proizvodima. Međutim, rekla je, besplatna verzija aplikacije za odrasle testirana je u okviru procene rizika, a ne proizvod za decu i mlade koji je posebno namenjen školama i drugim sličnim okruženjima.
„Besplatna potrošačka verzija Wysa-e je ograničen, empirijski zasnovan alat za samopomoć odraslih,” rekla je. „To nije usluga za krize, dijagnostički alat, zamena za terapiju ili putokaz vođen od kliničara, i njeni sigurnosni protokoli su prilagođeni tom kontekstu. Rešili smo oblast poboljšanja vezanu za pronalaženje plana bezbednosti identifikovanu u izveštaju i jačamo sigurnosne okvire gde je to korisno. No, snažno odbacujemo svaku karakterizaciju Wysa-e kao nebezbedne.”
Wysa-ina aplikacija usmerena na mlade dostupna je samo preko organizacija poput škola i savetodavnih službi koje plaćaju za proizvod, prema portparolu Wysa-e. U zavisnosti od kupljene usluge, škola ili savetodavna služba može dobiti obaveštenje ako je korisnik kliknuo kroz aplikaciju da pozove krizni broj ili istoriju sličnih akcija.
Prema proceni rizika, neki od najgriječnijih problema sa Wysa-ovom opštom dostupnom aplikacijom koje su istraživači dokumentovali uključuju igranje odraslih seksualnih igara sa 13-godišnjim test personas; oponašanje korisničkog jezika koji slavi i uključuje se kada su primećeni znaci poremećaja u ishrani, manije i psihoza; i omogućavanje tinejdžerima da lako izađu iz puta za krizu samoubistva bez ikakvog daljnjeg praćenja.
Takve vrste AI-generisanih odgovora mogu odložiti kritični tretman, napominje izveštaj.
Međutim, Wysa je tokom razgovora otkrio ograničenja svog AI-a, čak i kad nije bio upitan, ustanovila je procena rizika.
Ranija procena rizika opštih AI chatbota za mentalno zdravlje—kao što su ChatGPT, Claude i Gemini—od strane Common Sense Medije otkrila je slične probleme sa tim chatbot-ima u bezbednom i primerenom odgovaranju na tinejdžerska pitanja.
