Novi veliki napor da se mapiraju i procene alati za učenje vođeni veštačkom inteligencijom otkriva oblasti u kojima tehnologija može da podstakne uspon u postignućima učenika — ali upozorava i da drugi proizvodi mogu biti „izolovani“, „dosadni“ i da bi učenje dece moglo biti „značajno oštećeno“.
Mešovita analiza koju je uradila neprofitna organizacija Instruction Partners, koja se bavi obrazovnim savetovanjem, obuhvata 16 dubinskih analiza pojedinačnih AI proizvoda. Svaki profil predstavlja povratne informacije korisnika o alatu, ocenjivanje njegovih nastavnih kapaciteta i katalogizaciju dostupnih istraživačkih dokaza o efikasnosti.
Broj AI alata koji se danas nude školama je ogroman, pa projekat predstavlja tek mali deo onoga što je dostupno školama na izbor. Ipak, predstavlja jedan od prvih pokušaja da se sagledaju različiti tipovi usluga koje su u ponudi i njihove implikacije za nastavu i učenje.
A takođe, to dolazi u vreme kada su nastavnici i stručnjaci pozvali na sistematske procene širеsko i sve veće proširenog pejzaža alata za učenje uz podršku veštačke inteligencije.
„Nije sav AI isti po kvalitetu,“ izjavila je Emily Freitag, suosnivač i generalna direktorka Instruction Partners. „Potrebno je nijansirano donošenje odluka o tome gde on može doneti stvarnu vrednost, a gde stvara stvarni rizik.“
Instruction Partners analizirao je 20 alata, intervjuišući nastavnike korisnike, učenike, rukovodioce okruga i škola, programere proizvoda i posmatrajući primenu tehnologije u 16 školskih sistema.
Dubinske recenzije proizvoda postale su uobičajene na tržištu kurikuluma. Procene neprofitne organizacije EdReports i sličnih organizacija namenjene su tome da se analizira verovatnoća da će neki kurikulum obezbediti visokokvalitetno nastavno iskustvo. Da li se usklađuje sa akademskim standardima? Da li ga nastavnici lako koriste?
A takođe, to dolazi u vreme kada su nastavnici i stručnjaci pozvali na sistematske procene široko rasprostranjenog i sve veće ponude alata za učenje uz podršku veštačke inteligencije.
„Nije sav AI isti po kvalitetu,“ izjavila je Emily Freitag, suosnivač i CEO Instruction Partners. „Potrebno je nijansirano donošenje odluka o tome gde on može doneti stvarnu vrednost, a gde stvara stvarni rizik.“
Neka velika rizika povezana su sa modelima opšte namene
Tim iz Instruction Partners ispitivao je tri vrste AI alata: 1) čat botove opšte namene poput ChatGPT, Claude i Gemini; 2) alate usmerene na obrazovanje sa mnogim primenama, poput MagicSchool ili Google Classroom; i 3) instruktivne alate sa jasnim ciljem, poput Amira Learning, koji nudi samo vežbanje čitanja.
Svaki od 16 „profila proizvoda“ objašnjava kako dati alat funkcioniše — šta učenici rade, šta AI radi, šta radi nastavnik i koju ulogu mogu igrati rukovodioci škole ili distrikt.
Profili uključuju „pobede“ i „ograničenja“ proistekla iz intervjua sa edukatorima korisnicima, sopstvenih analiza Instruction Partners-a i listu dostupnih studija koje procenjuju efikasnost alata. Na kraju, svaki profil sadrži i odeljak „od razvojnog tima“, koji sadrži izjave ili video intervjue sa dizajnerima proizvoda.
„Nadamo se da će analiza proći kroz marketinški govor i pomoći liderima da razumeju proizvod,“ rekla je Freitag.
Širi pejzaž, nastavnici su rekli da su neki alati delovali više kao smetnja nego kao pomoć učenju.
„Definitivno smo videli najveće rizike kod opštih chat botova,“ izjavila je Freitag. „Takođe je način na koji AI ulazi u pretraživanje.“
„Primetili smo da deca postavljaju pitanja AI alatu, onda odlaze na Google, postavljaju pitanje Google-u, pa vraćaju odgovor u AI alat,“ nastavila je, prisećajući se zapažanja u učionici.
Nastavnici su često izveštavali da učenici koriste chat botove da „izbegnu rad koji zahteva naporno razmišljanje,“ stoji u analizi Instruction Partnersa. „Učenje bilo čega zahteva napor, a proizvodi koji namerno ili nenamerno smanjuju naporno razmišljanje učenika značajno ugrožavaju učenje.“
Instruktivno usmereni alati imaju više obećanja, ali nisu savršeni
Tim za reviziju bio je više naklonjen alatima dizajniranim za specifičnu obrazovnu namenu, onima s „jasnim stavom o delovima časa koje nastavnici najbolje mogu da isporuče i kojim delovima AI može da pruži podršku,“ kaže se u izveštaju.
U oblastima čitanja i engleskog jezika/jezičkih umetnosti, ovo je izgledalo kao alati koji bi mogli da pruže primenljive povratne informacije o učenikovom pisanju brže nego što bi to učinio pojedinačni nastavnik, ili da dijagnostikuju koje fonetske veštine učenici su savladali, a koje još uvek imaju poteškoća.
U matematici su recenzenti pohvalili alate koji mogu da identifikuju učenikove greške ili da prikupe i analiziraju mnoga objašnjenja matematičkog rezonovanja učenika.
Međutim, alati prilagođeni specifičnom cilju imaju svoje nedostatke. Na primer, tim iz Instruction Partnersa izrazio je zabrinutost zbog alata koji prepisuju tekst na nižem nivou čitanja, što bi moglo da smanji rigor.
„Nismo videli ništa što bi bilo spremno da pedagoški posao obavi samostalno,“ rekla je Freitag. „Takođe smo čuli od učenika, naročito, da cene odnose sa svojim nastavnicima i žele da uče od svojih nastavnika.“
Istovremeno, lideri ne bi trebalo da izbegavaju AI u potpunosti, dodala je. Nastavnici treba da izaberu pristup koji je najsposobniji za zadatak koji treba da se uradi.
„Ne mislimo da treba da budemo preosetljivi po pitanju nastavnih metoda kada one ne donose željene ishode za decu,“ rekla je.
U budućnosti, oblast će potrebiti ‘sudije i regulatore’
Organizacije poput Instruction Partners i EdReports bore se sa kontinuiranom napetošću: jer su AI alati još uvek relativno novi, malo je saglasnosti o tome kako procenjivati njihovu nastavnu kvalitetu. Ali kompanije ih sada plasiraju na tržište, distrikti ih usvajaju — ili su već to učinili. Potrebni su upotrebljivi sistemi procene sadašnjeg trenutka.
Na svom sajtu, Instruction Partners pokušava da zauzme sredinu, naglašavajući da njegove analize proizvoda nisu ocene. One ne procenjuju alate na osnovu unapred definisanog spiska kriterijuma.
Većina mogućih „nastavnih pobeda“ takođe dolazi uz upozorenja, što znači da je na rukovodiocima okruga da procene prednosti i mane.
Na primer, u pogledu sposobnosti alata da pruže povratnu informaciju o pisanju učenika, Instruction Partners navodi prednosti, napominjući da to može povećati količinu povratnih informacija koje učenici dobijaju ukupno — što bi moglo da poboljša njihovo pisanje.
Međutim, profili proizvoda navode i neke granice AI-generisanih povratnih informacija. One mogu biti nekonzistentne, a učenici su rekli da neki AI-komentari deluju nepersonalno.
(Povezano, neka istraživanja su pokazala da ChatGPT i Meta-ov Llama menjaju vrstu i kvalitet povratnih komentara koje daju kada znaju demografsko poreklo učenika. Nije jasno da li AI alati namenjeni za obrazovnu namenu funkcionišu na isti način.)
„Na kraju, oblast će potrebiti tumače smisla i regulatore,“ rekla je Freitag. „Sada je potrebna sprega tumača smisla.“
To je osećanje koje dele i u EdReports. Kratki dokument o AI u nastavnim materijalima, objavljen ovog meseca, podigao je mnoga pitanja. Da li AI-generisani materijali mogu koherentno da se usklade sa postojećim kurikulumom? Kako adaptivne funkcije utiču na ritam kurikuluma?
EdReports-ov rad na AI „mogao bi vremenom da evoluira u neku vrstu signalizacije“, rekao je Ferebee, „ali nismo još na toj tački.“
Projekat Instruction Partners-a je takođe s namerom ograničen — fokusira se samo na nastavne sposobnosti alata, a ne na druge brige poput privatnosti podataka.
Neki posmatrači kažu da to nije dovoljno: „Propustite informisanje ljudi kome su ove recenzije namenjene, jer daju samo jedan pogled na stvari. Nije prikazana celokupna slika,“ kaže Bridie Lee, jedna od vođa grupe Schools Beyond Screens L.A., koja je deo nacionalne koalicije koja zagovara strože ramove oko tehnologije u učionici.
Organizacija bi trebalo da uključi analize drugih grupa o privatnosti i bezbednosti u svoje recenzije ako ne planira da to radi sama — naročito ako su te analize identifikovale proizvode kao bezbednosno rizične za maloletnike, tvrdi Lee.
U odgovoru, Freitag kaže: „Slažemo se potpuno — i kao obrazovni radnici i kao roditelji — da su informacije o privatnosti podataka izuzetno važne, i organizacije sa ekspertizom u ovim oblastima definitivno treba da rade ovakve vrste recenzija.“
„Gde već postoje, recenzije privatnosti podataka (npr. ISTE, Common Sense Media) obično su manje fokusirane na nastavne informacije; ovo je ta specifična praznina i potreba koju mi cilјamo,“ dodala je.
O narednoj školskoj godini, organizacija planira da analizira barem još 20 alata i da sarađuje sa AI u obrazovanju Lab-om na Stanford univerziteta kako bi sprovele dodatne procene istraživanja o uticaju.
