Mulți elevi români nu pot rezolva subiectele de matematică de la testele PISA nici când primesc formulele. Profesorul Dragoș Iliescu: „E important ca elevul să poată gândi problema corect într-un context cât mai natural”

Se întâmplă deseori ca în subiectele date la testele PISA la proba de matematică elevii să primească și formulele de care au nevoie de rezolvare. Și, cu toate acestea, mulți copii români au dificultăți în a da răspunsul corect, rezultatele României fiind, conform ultimei runde de testare, cele mai slabe din UE. „În cazul matematicii, de exemplu, sunt mai degrabă probleme practice care se rezolvă cu ajutorul matematicii și care necesită de regulă mai degrabă gândire matematică decât ușurință aritmetică. Cu alte cuvinte, e important ca elevul să poată gândi problema corect într-un context cât mai natural cu cel în care acea problemă ar putea să apară. Partea computațională și de cunoaștere de formule este atât de puțin importantă și deseori secundară încât la mulți itemi li se dau elevilor direct formulele, ca să nu fie asta o sursă de eroare”, explică profesorul universitar Dragoș Iliescu, expert în psihometrie și fondator al platformei educaționale Brio. Dincolo de gradul mare de analfabetism funcțional din școli, sistemul românesc de educație mai are o problemă: le dezvoltă copiilor capacitatea de a folosi formule, dar nu le dezvoltă gândirea. „Cu alte cuvinte, dacă vede formula, elevul tipic din România va putea de multe ori rezolva problema, dar nu va avea capacitatea de a lua o problemă de viață cotidiană, formulată în limbaj natural, și de a o pune în formulă”, explică profesorul Iliescu.

Între 4 aprilie și 30 mai se va desfășura în România testarea PISA, la care vor participa 7.350 de elevi din 180 de şcoli, dintre care 1.050 de elevi care învaţă în limba maghiară. Este prima testare PISA de la începutul pandemiei și va fi „momentul dureros al adevărului”, spune Dragoș Iliescu într-o discuție realizată în parteneriat de Republica.ro și Brio.ro.

Cum ați caracteriza itemii de la testele PISA?

Toți itemii au un caracter foarte aplicativ – de vreme ce testează funcționalitatea, adică interacțiunea cu sens cu acea informație, în viața reală, itemii sunt puternic contextualizați.

În cazul matematicii, de exemplu, sunt mai degrabă probleme practice care se rezolvă cu ajutorul matematicii și care necesită de regulă mai degrabă gândire matematică decât ușurință aritmetică. Cu alte cuvinte, e important ca elevul să poată gândi problema corect într-un context cât mai natural cu cel în care acea problemă ar putea să apară. Partea computațională și de cunoaștere de formule este atât de puțin importantă și deseori secundară încât la mulți itemi li se dau elevilor direct formulele, ca să nu fie asta o sursă de eroare.

Acesta e și motivul principal pentru care itemii PISA sunt foarte puțin ”saturați” în cunoștințe. Cu alte cuvinte, sunt destul de independenți de programa școlară - parcurgerea unor cunoștințe sau dezvoltarea unor reflexe computaționale pentru itemi de acel tip, sau din acea categorie, prin programă, este mai puțin relevantă decât este formarea capacității elevilor de a raționa cu ajutorul matematicii.

Cum este creat un item care ajunge să fie dat la testele PISA?

Este un proces complicat și de lungă durată – totul începe cu 3 ani înainte de aplicarea efectivă a itemilor. Procesul este coordonat de regulă de o organizație cu experiență internațională în psihometrie, precum ETS (Princeton, SUA), ACER (Australia) sau Boston College (SUA).

O echipă de experți internaționali pleacă de generarea unui cadru explicit de evaluare, care descrie ce anume se va evalua, cum se va evalua etc. Sunt descrise principiile pe care sunt generați itemii, se trece apoi la creionarea unor șabloane pentru acești itemi. Pe baza lor, echipa de experți și uneori și alți specialiști generează itemi – care sunt disecați apoi din punct de vedere calitativ într-un proces de analiză critică. Itemii sunt modificați și adaptați în funcție de aceste sugestii, iar această primă colecție de itemi este tradusă cu grijă și itemii sunt pregătiți pentru pilotare.

Pilotarea presupune aplicarea acestor itemi în toate țările care vor participa la studiu, pe eșantioane nu foarte mari, dar suficiente încât să ofere date de bună calitate – aceste date stau la baza unor analize statistice. Se fac în special 2 feluri de analize: (a) analize care investighează calitatea itemilor în măsurare și (b) analize care investighează calitatea itemilor de a fi invarianți cultural (adică de a nu suscita răspunsuri radical diferite în funcție de limba în care sunt aplicați sau de cultura în care sunt aplicați). Așa se ajunge până la urmă la setul ultim de itemi ... nici chiar acesta nu este aplicat ca atare, ci pe baza lui se generează forme paralele ale testului, care ajung apoi să fie administrate în faza de culegere de date.

De unde vine dificultatea pe care elevii români o au în a rezolva astfel de cerințe?

Nu cred că elevii români au o dificultate inerentă de a interacționa cu acești itemi. Cred că este o problemă greșit pusă. Elevii români nu cred că au dificultăți cu a interacționa cu acest tip de itemi, ci pur și simplu mulți elevi români nu pot rezolva problemele pe care se bazează itemii.

Nu știu dacă mă fac înțeles aici: dacă dau un item (o problemă, orice fel de problemă) unui elev, iar elevul acela nu o poate face, sigur că poate oferi scuza că el interacționează mai greu cu acel tip de problemă. Dar adevărul este că elevul nu a putut să rezolve problema. Formatul itemului este doar o scuză.

Echipa care generează itemii PISA face eforturi deosebite ca itemii să fie cât mai naturali – probleme sunt exact așa cum te-ai întâlni cu ele în viața reală și așa ar trebui sa fii în stare să îi rezolvi. În ce fel mai putem vorbi de o rezolvare independentă atunci când primești problem pe jumătate mestecată, pusă în formulă etc.

Dacă ar fi însă să punem degetul pe 2 probleme fundamentale des întâlnite la elevii români, ele sunt acestea:

- Gradul foarte înalt de analfabetism funcțional, adică incapacitatea de a înțelege ce li se cere; aș vrea să explic cât mai clar aici că această situație duce la neînțelegerea oricărui tip de itemi și că formatul în care incidental se prezintă un item în PISA este complet nerelevant. Am avut încercări de a ”traduce” itemi din PISA în 4-5 variante alternative și elevii care nu sunt funcționali din punctul de vedere al respectivei literații (lingvistic, numeric, științific etc.) nu puteau înțelege niciuna din aceste ”traduceri” (reformulări).

- Capacitatea supradezvoltată de a aplica algoritmi (i se spune de regulă ușurință aritmetică) și capacitatea mult mai puțin dezvoltată de a gândi problema (i se spune de regulă gândire matematică). Cu alte cuvinte, dacă vede formula, elevul tipic din România o va putea de multe ori rezolva, dar nu va avea capacitatea de a lua o problemă de viață cotidiană, formulată în limbaj natural, și de a o pune în formulă.

Este prima dată când elevii români dau testarea digital, după ce România rămăsese printre ultimele țări unde nu se întâmpla acest lucru. De ce atât de târziu?

Da, România este una din puținele țări care au participat la culegerea de date în format creion-hârtie în 2018. Este bine că a participat și așa – aceste studii sunt semafoare atât de critice pentru generarea de politici bazate pe date și pe dovezi științifice, încât nu ar trebui să lipsim din nici unul din aceste studii. Sigur, este mai ieftin să tipărești 4000 de teste, să le trimiți spre școlile din eșantion, să le preiei apoi și să le scorezi de mână – mai ieftin decât să cumperi câteva sute sau mii de tablete pe care să fie dată testarea ... tablete cu care nu ești sigur că mai ai ce face apoi, până la următoarea testare de peste 3 ani, dacă până atunci tabletele nu sunt deja învechite ca tehnologie.

Acum în pandemie nu ne mai punem problema: investiția în tablete pentru (aproape) toți copiii s-a dovedit posibilă. Iar avantajul testării prin tabletă este imensă: scorarea se face instantaneu și erorile sunt excluse, iar în plus sunt capturate informații critice despre micro-comportamentul elevilor în relație cu itemii testului: cât de mult timp stau la fiecare item, cum dau click pe ecran, cum utilizează componentele problemei care sunt incluse pe ecran etc.

Ar putea avea o influență testarea digitalizată asupra rezultatelor? Dacă da, care?

Nu, nu va avea o influență, cel puțin nu una notabilă. Este adevărat că familiaritatea persoanei care dă testul, cu tehnologia pe baza căreia dă testul, este o variabilă care poate influența performanța la test, dar ideea că elevii din România sunt mai puțini familiari cu o tabletă decât cei din alte țări nu este susținută de date. Operațiile simple, de genul click, click-and-drag etc., le sunt foarte familiare.

Apoi, itemii sunt generați în așa fel încât literația digitală a elevului (sau lipsa ei) să nu interfereze cu testul. Cu alte cuvinte, elevii care sunt mai puțin pricepuți la utilizarea tehnologiei nu vor avea de suferit, itemii sunt programați în așa fel încât clickurile pe ecran necesare pentru rezolvare să fie intuitive: fiecare elev care va putea rezolva problema va putea da și clickurile necesare pentru a arăta că a rezolvat-o, i.e., pentru a comunica rezolvarea.

În fine, contextul de testare este în așa fel programat în tabletă, încât pentru fiecare tip nou de itemi cu care elevul este confruntat, există un instructaj și o perioadă de acomodare. Cu alte cuvinte, elevul vede întâi unul sau mai mulți itemi de antrenament și poate merge mai departe la itemii propriu-ziși ai testului doar după ce demonstrează că s-a familiarizat la nivel de interacțiune cu acești itemi de antrenament

Este prima testare PISA după pandemie. Care este importanța ei în acest context?

Cred că este momentul dureros al adevărului, în care vom vedea cât de mare este căderea acestor generații și în mod specific în ce elemente se manifestă această cădere. Este un moment critic, pentru că, deși există consens privind necesitatea de a interveni remedial în aceste generații de elevi, nimănui nu îi este clar cum anume ar fi optim să intervenim – pentru asta avem nevoie de mai multe date și PISA ni le va pune la dispoziție.

Urmăriți Republica pe Google News

Urmăriți Republica pe Threads

Urmăriți Republica pe canalul de WhatsApp