AI je učinio izuzetno jednostavnim pravljenje ocena za vaše učenike, nastavnike i školu. Evo pet razloga zbog kojih biste to još uvek trebalo da izbegavate.
1. Merenja su samo dobra koliko su validna.
Da li ste ikada primili ocenu testa i osetili da ne odražava tačno ono što znate? Ocene iz procene nisu same po sebi tačne. Validnost — dokazi da rezultati iz instrumenata za procenu predstavljaju konstrukciju koju tvrdimo da merimo — mora biti utvrđena kroz razvoj instrumenta, pilot testiranje i statističku evaluaciju. Kada veliki jezički model generiše „anketu o napretku“ za nekoliko sekundi, ono što proizvede možda i nije odraz stvarnog napretka učenika. Odluke zasnovane na rezultatima procene o raspoređivanju učenika, intervencijama u učenju i raspodeli sredstava počivaju na pretpostavci da je instrument iza njih pouzdan. Ako AI-generisani artefakt samo izgleda kao validna procena, vaše obrazovne odluke biće zasnovane na pogrešnim podacima. Nemojte uzimati jedino reč AI alata o njegovim sposobnostima ocenjivanja. Izvucite uzorak ocenjenih odgovora i neka ga čovek oceni nezavisno od AI-ovih ocena. Ako se dve ocene ne slažu blisko, to znači da alat još nije spreman da ocenjuje u vaše ime. Pre nego što verujete rezultatu, proverite da li je procena izrađena za ono za šta zaista koristite. Postavite sebi pitanja: Da li se uklapa sa onim što ste podučavali? Da li su formulacije prilagođene uzrastu i čitalačkom nivou vaših učenika? Da li bi vaši učenici učestvovali u njoj kako je zamišljeno? AI alat može generisati zadatke koji na ekranu izgledaju tačno, ali mogu da ne zadovolje sva tri uslova. A ako imate samo ocene iz AI alata i nemate dokaze koji bi potvrdili da mere ono što mislite da mere, razmislite ponovo o njegovoj upotrebi u vašem razredu dok ne dobijete takav dokaz.
2. AI sistemi nasleđuju pristrasnost iz podataka koji su ih obučavali.
U nauci o merenju, centralni problem u razvoju dobrog instrumenta jeste da li meri ono što je namenjeno da meri kroz različite podgrupe. Veliki jezički modeli apsorbuju demografske i jezičke obrasce ugrađene u svoje podatke za obuku. Kada se taj sistem zatraži da izgradi procenu, izlaz ne tretira svakog učenika jednako. Bilo koji AI sistem može, i trenutno čini, sistematski pogrešno ocenjivati učenike koji uče na više jezika, učenike sa smetnjama, i učenike čiji obrasci odgovora odstupaju od većine u podacima za obuku. Kako da znate da li je vaš AI alat za procenu fer? Pitanja koja treba da postavite uključuju: Za šta je ovo validirano i na kome? Kako je procijenjena efikasnost alata i je li efikasnost izveštavana posebno za podgrupe učenika? Da li dobavljač navodi ograničenja svog proizvoda i da li jasno navodi za šta se treba i za šta se ne sme koristiti? Da li su podaci iz sistema obrađeni sigurno i odgovorno?
3. AI-generisani grafikoni mogu prikazivati „rast“ čak i kada podaci ispod ne podržavaju takav prikaz.
Ispravno merenje rasta zahteva stabilnu meru kroz vremenske tačke, uporedivu uslove vođenja i jasan model promene. AI alati mogu proizvoditi vizuelno uverljive putanje rasta iz podataka koji ne ispunjavaju nijedan od tih uslova, mešajući korelaciju, šum ili artefakte skaliranja sa napretkom učenika. I isti promašaj se vidi čak i kod nečeg jednostavnog kao stubasti grafikon. Viša visina stuba deluje kao značajna razlika, ali visina sama po sebi ne govori da li ta razlika prelazi ono što bi šansa ili greška merenja proizvela po sebi i da li bi ta razlika bila dovoljna da ima praktično značenje u školskom kontekstu. Pouzdanost procene znači da bi ponovnim sprovođenjem procene zaključci koje iz nje izvlačimo ostali konzistentni na značajan način. Važno je pitati da li je dobavljač procenio alat za pouzdanost; ako nisu, nećete znati da li su ocene ili zaključci koje iz njih izvučete samo slučajni šum.
4. AI-generisana tumačenja podataka o proceni uvode novi, uglavnom nevidljivi izvor greške merenja.
Nije samo instrument onaj koji proizvodi podatke koji treba biti procenjen; interpretacije tih podataka moraju biti validirane. Kada sistem sažima rezultate procene ili pravi kontrolnu tablu iz školskih podataka, on donosi zaključke o tome koje šablone imaju smisla, koje razlike prelaze prag pa su vredne označavanja i šta promena u rezultatu znači za učenje učenika. Štaviše, kada praktičari rutinski prepuštaju interpretaciju sistemu, smanjuju svoje sopstvene veštine tumačenja podataka. Globalna radna grupa Brookingsa o AI u obrazovanju, koja je godinu dana vodila konsultacije sa nastavnicima i porodicama iz 50 zemalja, utvrdila je da prebacivanje kognitivnog posla na AI sisteme koji samo daju odgovore erodira proces osnovnog razmišljanja. I isti pad se dešava i kada predavači prepuštaju interpretativno prosuđivanje sistemu koji je po dizajnu često samouveren i ponekad u pravu, ali i pogrešan. Ako je neprihvatljivo da naši učenici odaju svoje mišljenje AI prilikom ocenjivanja, zašto je prihvatljivo da mi preuzimamo razmišljanje iza tumačenja njihovih rezultata?
5. Ne morate AI da biste izgradili ocenu.
Buros centar za testiranje, istraživačka organizacija sa sedištem na Univerzitetu Nebraska–Lincoln, objavljuje Mental Measurements Yearbook, nezavisni, stručni vodič za procenu komercijalnih alata pre njihove adopcije. Državni sistemi za ocenjivanje takođe obično objavljuju koje lokalno odabrane, nacionalno priznate procene ispunjavaju zahteve peer-review procesa Zakona o svakom učeniku koji uspeva (Every Student Succeeds Act), zajedno sa sadržajnim standardima i tehničkom dokumentacijom za proveru kompatibilnosti. Massachusets i Teksas nude vredne primere. Upravo sada, Standardi za obrazovno i psihološko testiranje — autoritativno vodilo u ovom polju već više od 60 godina, zajednički izdaju Nacionalni savet za merenje u obrazovanju, American Educational Research Association i American Psychological Association — su u reviziji sa fokusom na integraciju AI u procene. Škole koje grade infrastrukturu merenja na današnjem ad hoc korišćenju AI grade na temelju koje samo predstavlja polje koje i samo redefiniše svoje osnove. Imajte na umu da ste verovatno bolji stručnjak za razvijanje procene „na licu mesta“ kada je to potrebno u vašoj učionici ili školi nego AI. AI će tvrditi da to može da uradi i biće veoma samouveren u to, ali mi imamo više poverenja u vašu stručnost u oblasti koju predajete nego u AI.
