Foto: Inquam Photos/ George Călin
S-a dat luni proba de română la Evaluarea Națională. Ca de fiecare dată, discuția s-a așezat pe singura axă pe care o știm: a fost greu sau ușor? Mai dificil decât anul trecut? Copiii sunt mai buni sau mai slabi?
E discuția greșită. Întrebarea care contează nu e cât de greu a fost testul. E alta: unde anume desparte testul copiii cu adevărat — și unde doar se preface că-i desparte? (am stat mult să mă gândesc cum să spun „discriminează” în sensul de a distinge între variante, nu am găsit alt cuvânt și „discriminare” putea fi citit oricum, dar nu cum voiam eu să zic).
Un test bun își pune greutatea acolo unde decide
Un principiu, înainte de exemple. Un item discriminează cel mai bine în jurul propriei dificultăți. Unul ușor desparte foarte bine copilul slab de restul — și nu mai spune nimic despre cei buni, fiindcă toți îl rezolvă. Ca să departajezi în 9–10, ai nevoie de itemi grei: pe care copilul bun-dar-nu-excelent cade, iar cel excelent îi ia. Și îi ia din motivul corect, nu din noroc.
Evaluarea Națională își ține aproape toată puterea de a despărți la mijloc și jos. Sus, în banda în care se decid de fapt admiterile la cele mai căutate licee, testul aproape că nu mai are cu ce lucra. E cel mai imprecis exact acolo unde miza e cea mai mare.
Nu e o părere. E o proprietate a instrumentului, și se vede cu ochiul liber în două locuri.
Ce arată cifrele de la simulare
La simulare, distribuția notelor la cele două probe are forme radical diferite. La mate, un morman lat, aproape simetric, cu vârful la 5–6 și o coadă subțire sus: doar 3,28% dintre copii între 9 și 10. La română, masa se reazemă de plafon: 8,37% între 9 și 10, de două ori și jumătate mai mulți. Un sfert dintre candidați stau peste 8. (Am scris la vremea lor o postare, curioșii o găsesc căutând pe pagina mea de facebook după „gauss” sau „simulare”. )
Și totuși mediile sunt aproape egale — în jur de 6,2 la română, 5,9 la mate. Aici e cheia. Dacă româna ar fi pur și simplu „mai ușoară", am vedea o deplasare uniformă spre dreapta: note mai mari peste tot. Nu se întâmplă asta. Mediile sunt apropiate, dar divergența se umflă fix la vârf. Un decalaj care apare doar sus, nu și la mijloc, nu e semnătura unei competențe real mai mari. E semnătura unui efect de plafon — a unui test care nu mai are cu ce cerne/discerne acolo unde s-au adunat toți cei buni.
La asta se adaugă al doilea semnal, pe care l-am scris și data trecută: la română, aproape 10% dintre lucrări intră în recorectare. La mate, aproape niciuna. Recorectarea nu măsoară nemulțumirea copiilor. Măsoară instabilitatea notării: aceeași lucrare poate primi note diferite de la corectori diferiți.
Pune-le împreună și ai diagnosticul: îngrămădire mare înmulțită cu instabilitate, fix unde un punct și ceva schimbă un destin școlar. Nu se adună. Se înmulțesc.
Acolo unde se preface
Hai la subiectul de luni, cu o singură întrebare în minte: itemul ăsta desparte copilul bun de cel excelent?
Multe nu o fac, și e în regulă. Meseria lui Vladimir, podeaua de bambus, gustul laptelui de cocos, enunțurile adevărat/fals — toate sunt localizare în text. Își fac treaba cinstit în zona 5–8. Pentru un copil de 9,50 sunt la plafon: le ia pe toate. Problema nu e că există. E că pretindem că un test făcut majoritar din ele poate ordona copiii la zecimală.
Apoi sunt itemii care încearcă să fie grei și ratează. Exemplul perfect: formarea cuvintelor, „ceva" prin compunere, „sinea" prin conversiune. Arată ca o capcană. Pare riguros. Dar pentru un copil bun cred eu că e tot la plafon — taxonomia procedeelor se tocește la meditații ca tabla înmulțirii. Discriminare reală spre zero. În plus, cheie atacabilă: substantivizarea lui „sinea" e o convenție de manual, nu o certitudine. Cel mai prost scenariu cu putință: pare greu, nu departajează pe nimeni, se poate contesta. Nu e „greu, dar drept". E greu și arbitrar.
Și sunt itemii cu răspuns construit care mănâncă cel mai mult timp și cară cel mai mult zgomot. Argumentul de 50–100 de cuvinte despre daruri e relativ banal — se exersează pe șablon, se scrie pe șablon, se corectează pe rubrică cu variație între evaluatori. Pentru că recompensează „un paragraf competent", și copilul bun, și cel excelent ajung la un paragraf competent. Intervalul se comprimă exact unde aveam nevoie să se deschidă.
Aici trebuie să fiu precisă — și tot aici m-am înșelat prima dată. Nu răspunsul construit e vinovatul; bine făcut, el e standardul de aur pentru competențele de rang superior. Aș fi pariat că singurul item care chiar departajează la vârf e tocmai cel mai nobil din probă: asocierea fragmentului din Veronica D. Niculescu cu un alt text, pentru o valoare comună. Pare să ceară cultură literară reală — fix lucrul pe care AI-ul nu-l poate mima. Mi-a arătat o cititoare, nu m-am prins eu, că e exact invers. În era culturii de spoială, a cere o analogie literară e cel mai falsificabil lucru cu putință. Copilul dresat nu citește cărțile. Învață cinci-șase opere-cheie și niște idei principale și le potrivește, ca un puzzle, la orice text-stimul. Iar baremul nu poate deosebi asocierea trăită de cea tocită — amândouă bifează „secvență relevantă + valoare comună". Deci nu doar că nu departajează: premiază fix dresajul pe care pretindem că-l combatem, și mai intră și în cele 10% recorectări. Cu asta se închide și ultima portiță. În subiectul de azi nu rămâne niciun item care să cearnă onest la vârf.
Problema e răspunsul construit necalibrat și șablonabil: cel care mănâncă cel mai mult timp, cântărește cel mai mult din notă și cară după el cel mai mult zgomot. Nu poți umple jumătate de test cu așa ceva și să pretinzi precizie de o zecime în partea de sus.
Ce ar fi pus greutate unde trebuie
Ce lipsește din testul ăsta cu desăvârșire e itemul obiectiv și greu în același timp. La noi, tot ce e obiectiv e ușor, și tot ce e greu e subiectiv. Nu există, în vârf, niciun item și departajator și necontestabil.
Și nu e greu de imaginat. Am dat până azi multe exemple de itemi PISA grei. Din chiar textul de azi: în loc de „ce gust are laptele de cocos", o întrebare despre atitudinea naratoarei față de felul în care localnicii își lasă arborii-de-cacao neculeși — cu patru variante toate plauzibile la o citire grăbită, dintre care una singură supraviețuiește citirii atente, cea care leagă „florile noastre și nimic mai mult" de „simt tristețea și resemnarea". Cheie unică. Scorare obiectivă. Dificultate mare. Competență reală. Zero recorectări. Asta lipsește.
Responsabilitatea unei zecimi
Știu că sună a pedanterie. Nu e. Între 9,50 și 9,60 se decide, pentru un copil, un liceu și un traseu. E o bifurcație, nu o nuanță.
Dacă eroarea de măsurare în vârf depășește acea zecime — iar îngrămădirea, instabilitatea și lipsa itemilor grei și obiectivi spun, toate trei, că o depășește — atunci ierarhia din 9–10 e, în parte, zgomot. Iar noi luăm decizii de viață pe zecimala aia ca și cum ar fi semnal curat.
Asta e datoria de care vorbesc. Nu „două ore din viața unui copil sunt prea puține" — adevărat, dar ușor de respins. Datoria e mai tehnică și mai greu de ocolit: să știm, fără umbră de echivoc, de ce 9,60 și nu 9,50. Sau să încetăm să pretindem că o știm. Astăzi nu o știm. Încercăm. E mai bine decât anul trecut. Dar prea des, ce desparte cele două note nu e o competență de rang superior. E o chestiune de interpretare. O virgulă. E „ce corector ai nimerit”.
Greu nu înseamnă bun
Un test prost se rateză în trei feluri.
- Prea ușor: toți cei buni la plafon, nimeni despărțit de nimeni — grilele de localizare.
- Greu și strâmb: dificultatea vine din capcană sau ambiguitate, departajează pe convenție memorată ori pe noroc — itemul cu „compunere" și „conversiune".
- Și se ratează bine doar într-un fel: greu și drept — dificultatea vine din raționament, cheia e unică, excelentul trece și bunul cade din motivul corect.
Un test bun nu e cel greu. E cel greu și drept. Greu pentru că cere gândire reală, nu fiindcă întinde curse. Atât.
Despre mate, miercuri
Am putut diseca azi doar româna, fiindcă doar ea există. La mate avem deocamdată doar distribuția de la simulare — și acolo patologia e simetric opusă: nu plafon sus, ci o podea brutală jos, cu peste o treime dintre copii sub 5. Mate ratează cumva la podea (și știm de ce), româna la tavan (aici nu mai știm de ce).
Subiectul de matematică se dă miercuri. Atunci îl pun pe masă și-l tai item cu item, la fel, cât mă pricep și eu. Revin cu disecția, oricare ar fi verdictul.
Pentru că, în absența unei evaluări care să măsoare ce pretinde că măsoară, orice ne spunem despre rezultate, despre copii buni și slabi, despre reforme — rămâne incomplet. Nu pentru că nu ne pasă. Ci pentru că nu știm.
Urmăriți Republica pe Google News
Urmăriți Republica pe Threads
Urmăriți Republica pe canalul de WhatsApp
Alătură-te comunității noastre. Scrie bine și argumentat și poți fi unul dintre editorialiștii platformei noastre.