Veštački inteligencijom zasnovani treneri za pisanje postali su popularni kao način da nastavnicima pruže brzo povratne informacije na stotine radova učenika, čime se smanjuje jedan od njihovih najzahtevnijih zadataka.
Međutim, napori da se ta povratna informacija učini još više personalizovanom mogu da se obiju, pokazuju nova istraživanja o ovim alatima.
Uzmimo primer:
“Iznosite ubedljiv argument o potencijalnim koristima otkrivanja vanzemaljskog života,” kaže jedan AI tutor za pisanje visoko uspešnom učeniku. “Razmislite o proširenju ove misli kako biste odgovorili na eventualne protivargumente.”
Suprotno tome, učenik koji se muči sa pisanjem dobija povratnu informaciju koja se svodi na ukazivanje na pravopisne greške i predlog ponovnog pisanja za nejasnu rečenicu. Oni ne dobijaju podsticaj o tome kako da poboljšaju svoje pisanje analizom kontra-faktičkih scenarija.
Problem je u tome što su oba uzorka pisanja identična. Jedina razlika bila je u opisu učenika koji je unet zajedno sa uzorkom u novoj studiji AI povratne informacije pri pisanju koju su sproveli istraživači sa Instituta za veštačku inteligenciju usmerenu na čoveka na Stanford univerzitetu.
Povratne informacije za učenika koji uči engleski jezik
Дavanje informacija o pozadini učenika — njihova rasa, pol, jezik, status invaliditeta, nivo postignuća ili čak motivacija — može značajno promeniti koju vrstu i kvalitet povratne informacije AI alat pruža, kako pokazuju istraživanja doktoranta Mei Tan i Lenе Phalen. Studija je prvi put predstavljena na Međunarodnoj konferenciji o analitici i znanju učenja, održanoj u Bergenu, Norveška, u maju.
„Nastavnici imaju razboritost koju LLM-ovi jednostavno nemaju,” izjavila je Phalen. „Zato je zaista važno da znamo, u ovom pokušaju ‘personalizacije’ za učenike, kakva personalizacija izgleda u skladu sa velikim modelima jezika i da li to zaista odgovara vrsti personalizacije koju želimo videti u pedagogiji.”
Tan, naučnica za podatke o obrazovanju, i Phalen, istraživač kurikuluma i obuke nastavnika, zatražile su od AI modela da pruže povratne informacije o pisanju za 600 argumentativnih eseja osmog razreda iz nacionalno reprezentativnog skupa podataka. Studija je razmatrala GPT-4o, GPT-3.5-Turbo i Meta-ine modele Llama-3.3 70B, kao i Llama-3.1 8B, koje se često koriste kao osnove obrazovnih alata poput MagicSchool i School AI. Nije uključila najnovije AI modele, poput ChatGPT 5.5, Muse Spark od Meta ili Claude Opus 4.8 kompanije Anthropic.
U početku istraživači nisu uključivali nijednu od pozadinskih karakteristika učenika u svoje zahteve za povratne informacije. Kasnije su nasumično dodeljivali eseje opisima koji su uključivali pol, rasu, nivo postignuća, invaliditet i nivo tečnosti engleskog. U trećem krugu, istraživači su izbrisali deskriptivne karakteristike, ali su dodelili imena povezana sa određenim polovima ili rasama.
Istraživanja su pokazala da su učenici boje kože u studiji češće podstaknuti da “ispoliraju” svoje pisanje, a povratne informacije su bile prožete kulturnim stereotipima — na primer, okretanje kritika ka azijskim učenicima oko akademske odgovornosti i poštovanja, dok se pretpostavljalo ograničeno znanje engleskog jezika kod učenika latino porekla i usmeravale su se naglaskom na porodične vrednosti i kulturu.
Povratne informacije za učenika belog porekla
Iako su modeli bili usredsređeni na direktne kritike i zadatke za učenike opisane kao muškog pola, bili su skloniji korišćenju emocionalnog jezika poput „volim“ ili „divno“ za učenice.
Za učenike označene kao nemotivisane AI treneri su koristili više pohvala i afirmacija u povratnim informacijama — ali su se takođe fokusirali na osnovne ispravke poput pravopisa ili gramatike. Povratne informacije za „motivisane“ pisce češće su podsticale učenike da poboljšaju svoje argumente ili strukturu.
Povratne informacije za učenika muškog pola
Studija je takođe ukazala na rodne razlike: modeli su za učenike opisane kao muškarci češće prelazili na direktne kritike i zadatke, dok su za učenice češće koristili izraze koji odražavaju emocionalni ton i podršku.
Povratne informacije za učenicu ženskog pola
Studija nastaje u kontekstu sve veće zabrinutosti obrazovnih radnika i zakonodavaca oko korišćenja AI alata u učionicama i njihovog uticaja na kritičko mišljenje učenika, kao i potencijalne zloupotrebe tehnologije za varanje.
„AI je istovremeno fascinantan i moćan u vrsti povratne informacije koju može da pruži,” rekao je Larry Berger, izvršni direktor kompanije Amplify, koja pruža tehnološka rešenja za obrazovanje i kurikulum, „ali takođe može da pravi veoma osnovne pedagoške greške i može biti kulturno osetljiv na razne načine.” (Alatke i materijali Amplify nisu pregledani u studiji.)
Ovo je daleko od prvog puta da AI modeli pokazuju ono što se naziva algoritamskim pristrasnostima. Ranija istraživanja su višestruko otkrivala da generativni AI alati mogu replikovati ili povećati stereotipe jer su trenirani na pogrešnim istorijskim podacima.
„Ove tehnologije su suštinski crne kutije,” rekla je Phalen, „tako da ne znamo kako bi se pristrasnosti mogle reproducirati i kakav pristup informacijama o učenicima [AI alati] imaju kao rezultat integracije u školske postavke,” poput sistema za upravljanje učenjem ili drugih interfejsa koji bi mogli uključiti pozadinske karakteristike.
Jedan od faktora jeste da LLM-ovi koji podržavaju AI alate ne filtriraju informacije na isti način kao ljudi, pa AI sistem neće ignorisati nebitne podatke — poput imena učenika koje zvuči španski — na način na koji to može učiniti nastavnik. Sav kontekst uključen u prompt smatra se relevantnim za zadatak, čak i ako rasna ili pol učenika, na primer, nemaju uticaja na njihove sposobnosti pisanja.
Odnosi ključni za studentsko pisanje
Pisanje može biti posebno ranjivo na pristrasne AI povratne informacije, rekao je Berger, jer može biti subjektivnije i vođeno odnosima nego učenje u drugim disciplinama: odgovori nastavnika ili vršnjaka mogu pokrenuti učenike da pišu.
„Ako se izlažem i delim svoje ideje — čak i ako su to samo dva pasusa o fotosintezi — postavljam i pitanja: Da li je nastavnik mislio da sam ovo prenio onako kako sam želeo? Jesam li dobar u pisanju? Šta misle moji vršnjaci o ovome?”
Berger je dodao: „Ako pristrasnost u povratnoj informaciji dođe u tom trenutku ranjivosti i ako nije prijemčiva prema učeniku ili ako pogrešno proceni tu povratnu informaciju, to može da ponudi zabrinjavajući odgovor na ta pitanja.”
Katrina Sacurom, učiteljica petog razreda u Shawnee Trail Elementary School u Frisku, Teksas, razvila je i redovno koristi sopstvenog AI asistenta za pisanje u nastavi. Kaže da alati mogu pomoći nastavniku da razvije standard za pisanje svojih učenika, ali ne treba da zamene prosudivanje nastavnika.
„Nastavnici imaju znanje i intimno poznavanje učenika i znaju šta je i šta nije prikladno kada je reč o povratnoj informaciji,” izjavila je.
Na primer, Sacurom kaže da nikada ne bi koristila motivaciju učenika kao merilo za pismenost, jer se ona može značajno promeniti u zavisnosti od zadatka ili teme. Poboljšanje motivacije učenika zahteva razgovore sa učenikom i nijanse koje AI verovatno ne može da pruži.
Ona izbegava da navodi kontekst o konkretnim učenicima, već podstiče program da daje povratnu informaciju na osnovu sopstvene rubrike za pisanje i specifičnih ciljeva veština za dati zadatak.
„Mogla bih da preciziram: ‘ovaj učenik inače stvara jednu do tri rečenice za kratke konstruktivne odgovore. Naš cilj je da output učenika poraste na četiri do pet rečenica.’ Takve stvari, verujem, koriste,” rekla je Sacurom.
