Koji nastavnik nije ponekad osećao frustraciju zbog preteranog oslanjanja na rezultate testova kao merilo uspeha učenika i same nastave?
Danasnji gostujući tekst istražuje alternative tom pristupu.
„Proširenje rigoroznosti“
James Soland je vanredni profesor za istraživanje, statistiku i evaluaciju na Školi obrazovanja i razvoja čoveka Univerziteta u Virdžiniji, čiji rad se fokusira na procenu (psihometrija), evaluaciju i upotrebu podataka:
Nastavnici znaju šablon: uvodi se novi program, neko prikuplja rezultate testova pre i posle, i rečeno im je da li je program „radio“. Ali šta to uistinu govori? Da li to pomaže u poboljšanju nastave? Da li pomaže nastavnicima i donositeljima politika da razumeju zašto je nešto funkcionisalo ovde, a ne tamo? Da li nam pomaže da razumemo šta su učenici zapravo stekli i doživeli?
Kao što pišem u nedavnom blogu na Brookings Institution, trenutno je polje evaluacije obrazovanja fiksirano na jedno pitanje—„šta radi?“—u uskom smislu definisano kao da li program izaziva merljiva poboljšanja u stvarima poput rezultata testova. To je u nekim prilikama dragoceno, ali propušta previše onoga što u školama zaista predstavlja značaj. Pruža prednost onome što možemo lako izmeriti nad onim što bismo trebalo da razumemo. I tretira kontekst školskog okruženja kao zamensku pozadinu, umesto kao ključni element uspeha.
Kao nastavnici i lideri škola, svesni ste da učenje nije uređen proces, već haotičan, lokalizovan i ljudski. Ono se odvija u određenim učionicama sa tačno definisanim učenicima i odraslima koji zajedno rade pravi posao. Današnji dominantni pristup— evaluacija programa kao crnih kutija i njihovo ocenjivanje po uskom skupu ishoda—ne hvata tu realnost. Ostavlja po strani stručnost nastavnika, iskustvo učenika, kulturu škole i mnogobrojne kontekstualne uslove koji čine da jedna strategija bude efikasna ovde, a ne na drugom mestu.
Potrebna nam je evaluacija koja uči od vas—nastavnika na terenu—not just about students’ test results. Vi ste ljudi koji vidite kada strategija podstiče radoznalost učenika, kada se suočava sa lokalnim realnostima, ili kada možda ne funkcioniše kada se primeni na drugačiji skup učenika. Takođe znate kada program zaista pomera iglu, nasuprot tome što je urađeno samo iz usklađenosti.
Koji je problem sa evaluacijama u obliku crne kutije?
Najrigoroznije evaluacije programa fokusiraju se na izolovanje uzročnih efekata: „Da li je X uzrok Y?“ To se uglavnom radi eksperimentima ili kvazi-eksperimentima koristeći standardizovane ishode koje donositelji politika i istraživači mogu upoređivati kroz vreme i prostor. Ali ovaj pristup ima dva velika ograničenja:
- Privilegira ishode koji su laki za kvantifikovanje—poput državnih rezultata testova—nad jednako važnim ishodima koji su teži za merenje, poput kritičkog mišljenja, saradnje ili osećaja pripadnosti učenika. Ti drugi elementi često su u središtu odluka nastavnika u svakodnevnom radu i imaju dubok značaj za dugoročno učenje.
- Kontext tretira kontekst—školu, norme zajednice, veštine nastavnika, resurse i kulturu—kao nešto što treba izbeći kroz kontrole, umesto kao izvor uvida o tome kako i zašto nešto radi.
Ovaj uzak fokus vodi ka evaluacijama koje deluju udaljeno od realnosti. One kažu da li je nešto funkcionisalo negde, ali ne i zašto, kako i pod kojim uslovima bi to moglo funkcionisati u vašem kontekstu.
Dakle, kako bi izgledala bolja evaluacija? Hajde da uzmemo primer intervencije socijalno-emocionalne prirode (npr. za podsticanje mentaliteta rasta ili veština samoupravljanja) koja je osmišljena da poboljša tu socio-emocionalnu kompetenciju i, time, i postignuće. Evo nekoliko ključnih elemenata:
1. Proširiti ishode izvan testova.
Standardizovani testovi hvataju važne akademske veštine, ali propuštaju socio-emocionalni razvoj, kritičko rezonovanje, kulturnu kompetenciju i druge dimenzije učenja koje nastavnici neguju svakodnevno. Kada evaluacija uzme i ove aspekte u obzir—čak i ako su teži za kvantifikovanje—to se više poklapa sa onim što je značajno za učenike.
U primeru socio-emocionalne kompetencije, to bi značilo ne samo gledanje dobitaka u postignućima, nego i promene u samoupravljanju ili mentalitetu rasta, idealno koristeći anketu dizajniranu da razume promene tokom vremena. Još bi značilo da nastavnici procene da li je intervencija zaista poboljšala kompetenciju ili je to više bio artefakt merenja (npr. učenici su posle intervencije bolje predviđali „tačan“ odgovor na anketi).
2. Pomešati brojeve sa narativima.
Rigorozan rad na uzročnosti ima svoje mesto—ali treba da stoji pored bogatih kvalitativnih dokaza. To znači namerno prikupljanje perspektiva nastavnika, glasova učenika i opisa iskustava administratora. Kvalitativna istraživanja su često bila periferni deo evaluacije programa, ali pomažu nam da razumemo mehanizme—kako i zašto ono što radi—ne samo da li.
U slučaju intervencije socio-emocionalne kompetencije, intervjui sa nastavnicima bi tražili da li su osetili da postoji validan, uzročno-posledičan lanac gde intervencija povećava samoupravljanje ili mentalitet rasta, i da li je to poboljšanje zatim uzrokovalo dobitke u postignućima.
Oni bi govorili o tome da li je intervencija dovoljno laka za implementaciju da bi mogla biti deo uobičajene prakse. Ako intervencija nije pokazala dobitke (u kompetenciji ili postignućima), nastavnici bi dali kvalitativne podatke o tome zašto nije.
3. Učiniti kontekst delom pitanja, a ne nečim što treba kontrolisati.
Umesto da lokalne uslove posmatramo kao buku, dobra evaluacija ih posmatra kao podatke. Znanje kako je jedna ruralna škola uključila roditelje ili kako višjeznačna učionica prilagodila program čitanja može nas naučiti o prenosivosti i adaptaciji.
Za socijalno-emocionalne konferencije to bi moglo da izgleda kao postavljanje pitanja nastavnicima da li su osetili podršku za intervenciju (npr. dovoljan vremenski okvir za kvalitetnu implementaciju), da li su postojale birokratske prepreke, da li je radilo ili nije radilo za učenike sa određenim izazovima u učenju (npr. učenici sa specifičnim IEP-om), kako ih konkretna škola i okruženje utiču na ishode, itd.
4. Koristite mehanizme da biste vodili poboljšanje.
Umesto da se samo izveštava da je intervencija „radila“, evaluacije treba da izraze na koji način je postignut rezultat. Da li je to zbog toga što su nastavnici imali više vremena za saradnju? Zato što su učenici dublje angažovani sa tekstovima koji odražavaju njihovo iskustvo? Zato što je nastavno koučing podržalo rizik? Zato što su nastavnici prepoznali vrednost i prihvatili strategiju? Ovi mehanizmi—ne samo ishodi—predstavljaju ključne pouke za replikaciju i unapređenje.
U slučaju intervencije socio-emocionalne kompetencije, svi ovi mehanizmi mogli bi se pojaviti tokom intervjua sa nastavnicima, anketa, fokus grupa ili šta god je najsposobnije da se iskoristi u njihovom vremenu. (Očigledno, ovi dodatni podaci bi se prikupljali uglavnom u evaluacijama velikog obima uz dovoljne resurse da se nastavnike adekvatno nadomeste.)
Postavljanje konteksta i uslova u prvi plan uz pomoć nastavnika
Nastavnici su neprekidno u evaluaciji: prate kako se čas odvija, primećuju znakove angažovanja, otklanjaju zablude i odlučuju šta da probaju sledeće. Ta stručnost—ukorenjena u kontekstu i prožeta dubokim znanjem o učenicima—treba da bude deo načina na koji proučavamo obrazovnu efikasnost. Proširivanjem definicije dokaza i privilegovanjem zašto i kako jednako kao i da li, čini se evaluacija korisnijom.
I verujem da to možemo postići, proširujući otvor pitanja koje postavljamo, pa čak i da pređemo hiperpovećanje na testove.
Proširivanje od rezultata testova i crnih kutija ne znači odustajanje od rigoroznosti. To znači proširenje rigoroznosti kako bi uključili načine istraživanja koji poštuju složenost, a da pri tom ne izgube jasnoću. To znači izgradnju evaluacionih sistema koji pomažu učenicima i donosiocima politika da saznaju šta radi za koga, zašto to radi i šta dalje treba uraditi.
Hvala na doprinosu njegovih misli.
Razmislite o postavljanju pitanja koje bi bilo odgovoreno u budućem postu. Možete ga poslati na lferlazzo@epe.org. Kada ga pošaljete, javite mi da li mogu da koristim vaše pravo ime ako bude izabrano ili da li biste želeli ostati anonimni i imate li na umu pseudonim.
Možete me kontaktirati i na X na @Larryferlazzo ili na Bluesky na @larryferlazzo.bsky.social
Samo podsećanje; možete se pretplatiti i primati ažuriranja sa ovog bloga putem meil-a. A ako ste propustili bilo koji od naglasaka iz prvih 13 godina ovog bloga, možete videti kategorizovani spisak ovde.
