Evaluarea nationala din perspectiva lui Gauss

In week-end au fost publicate rezultatele la Evaluarea Nationala 2013 si s-a discutat mult despre ele. S-a discutat pe procente ( ce procent au promovat, cu cat a fost mai mare decat cel de anul trecut, etc.) dar n-am vazut absolut nici un grafic referitor la distributia notelor.

Absolut toata lumea se asteapta ca notele la un examen sa fie distribuite gaussian (am cautat intrarea in limba romana referitoare la distributia gausiana dar n-am gasit-o ). Aceste distributii nu sunt insa niciodata prezentate in conferintele de presa de dupa examene. In 2011, cand discutam despre Bacalaureatul din acel an,dadeam drept exemplu distributiile obtinute la examenul de Bacalaureat din Polonia si prezentate pe site-ul Freakonomics.

Distributie note Polonia

De observat in graficul de mai sus formatiunea din jurul valorii 20 corespunzatoare procentului necesar pentru trecerea examenului.

Sa comparam figura de mai sus cu distributiile obtinute in Evaluarea nationala 2013. Distributiile notelor sunt date in urmatoarele figuri in ordinea: Medie Nota Arges, Romana Bucuresti, Matematica Bucuresti. Cu albastru sunt reprezentate Numarul de note din fiecare interval (date luate de aici si aici) iar in rosu este distributia lui Gauss care corespunde cel mai bine cu datele din examen.

Medie Arges

Romana Bucuresti

Matematica Bucuresti

Dintre aceste distributii doar Romana Bucuresti are cat de cat caracteristicile unei distributii Gauss. E absolut evident ca Matematica Bucuresti nu poate fi decat "coada" unei distributii Gauss si ca nu poate fi deloc comparata cu imaginea pe care am dat-o de exemplu din examenul Polonez.

Sa marim axa notelor pentru a avea intreaga distributie Gauss in imagine. In acelasi timp sub fiecare imagine voi trece procentul in care distributia notelor din Evaluarea Nationala acopera distributia Gauss corespunzatoare lor.

Medie Arges Gauss

Grad acoperire 45%.

Romana Bucuresti Gauss

Grad acoperire 56%

Matematica Bucuresti Gauss

Grad acoperire 1% !!!!!
Este absolut evident ca proba la Matematica (cel putin in Bucuresti) a fost extrem de usuoara si nu a produs in nici un fel efectul de departajare al candidatiilor. Media "teoretica" a clopotului Gauss este, in cel mai bun caz, undeva peste 30 ceea ce inseamna ca aceasta medie nu cade nici macar in apropierea notei 10, ca sa nu mai pomenim de intervalui 1-10.

Acestea sunt distributiile pe care ar trebui sa le vedem de la Ministerul Educatiei Nationale. Nu procente goale de semnificatie sau cresteri de la un an la altul. Astept ziua in care aceste statistici ( foarte usor de facut!) vor fi publicate imediat dupa examen prin platformele aflate la dispozitia ministerului.

   Send article as PDF   

25 Comments

  1. Lu

    Excelentă analiză, domnule!
    Şi eu aştept ziua când "meseriaşii" de la Centrul Naţional de Evaluare vor face subiecte care să permită o evaluare adevărată. Mă rog, vorba vine aştept. Aştept aşa, pentru ţară. Pentru mine mi-am pierdut răbdarea şi mi-am dat demisia din învăţământ - între altele, şi din cauza simulacrelor de evaluare pe care le vedem an de an.

  2. Foarte interesant articolul, mai ales că știu că e ceva muncă în spatele lui!
    Singura informație pe care n-am descoperit-o (și care m-ar interesa) ar fi care este metodologia care determină distribuția lui Gauss care corespunde cel mai bine cu datele de intrare.

  3. The M.

    Nu prea am inteles de ce pe Axa orizontala (cea a notelor) exista valori de la 0 la 20 si de la 0 la 70 in ultimele grafice. Curba gaussiana nu ar trebui transpusa strict in intervalul 0-10, din moment ce 10 e nota maxima? Adica varful ei sa fie undeva deasupra intervalului 5-7? Puteti sa explicati?

  4. Em

    Este cunoscut ca notele la un examen au distributia de probabilitate urmatoare (este scrisa in LaTeX):

    Parametrul theta difera de la o disciplina la alta. Dintr-un esantion de note se estimeaza parametrul theta pentru un grup de elevi/disciplina.

    Arcele de distributie Gauss pe care le-ati ilustrat mai sus sunt de fapt distributii ale notelor corespunzatoare unor parametri 0<theta<1.

  5. Catalinus

    Nu vreau sa te dezamagesc, dar idea ca "absolut toata lumea se asteapta ca notele la un examen sa fie distribuite gaussian" este cam ignoranta, si inca si mai ignoranta este sugestia ca automat e vorba de inselaciune cand distributia nu e gaussiana - distributia depinde de multi, multi factori si cel mai important este modul in care testul a fost conceput, si daca el a fost standardizat si normalizat.

    In momentul in care vrei sa ai un test care vrea sa separe cat mai bine niste concurenti are ceva sens sa urmaresti un test in care rezultatele sa fie distribuite gaussian - dar chiar si aici are chiar mai mult sens sa ai un test care sa retina cat mai mult (eventual exclusiv) jumatatea din dreapta a "clopotului".

    Pe de alta parte in momentul in care testul isi propune sa verifice existenta unor cunostinte considerate relativ "de baza" nu este chiar o surpriza cand apare (mult) mai mult din partea din stanga a "clopotului".

  6. Adi

    E simplu. Veti vedea si la BAC. Anul asta USL va iesi in fata si va spune ca guvernarea lor a dat rezultate. Ministrul s-a implicat si asta se vede. Spre deosebire de Funeriu, bla, bla, bla...

  7. @Radu B. : modalitatea de determinare a parametrilor distributie e facuta printr-o procedura numita "fitare". Se cauta parametrii functiei gauss care explica cel mai bine datele experimentale date.

    @The M. : media distributie gausiene poate fi mai mare de 10 deoarece acest parametru nu a fost restrans in procedura de fitare de a fi in intervalul 1-10. In distributiile vazute in acest articol nici nu prea are sens o asemnea restrangere avand in vedere ca in doua din cauzri "cocoasa" gausienei nu se gaseste in intervalul 1-10(nu este vizibila nici in grafic).

    @Catalinus: inteleg ca Evaluarea Nationala are scopul de a clasifica absolventii de gimnaziu pentru admiterea computerizata la liceu. In acest sens acest examen ar trebui sa fie unul care sa separe cel mai bine niste concurenti si nu sa verifice niste cunostinte de baza. Pentru cunostintele de baza exista nota din clasa care trebuie sa asteste ca elevul si-a insusit minimum de cunostinte.

  8. Marius Bancila

    Interesante grafice. Si la BAC au fost mult prea usoare subiectele la matematica.

    Apropo, distributia Gauss e cunoscuta ca distributie normala, insa in DEX nu apar referiri la nici una dintre ele. Probabil pentru ca DEX-ul nu e orientat spre aspecte tehnice.

  9. Pingback: Când ai doar un ciocan, vezi peste tot numai cuie #riscograma.ro

  10. Pingback: Guvernul Ponta, mai 2012 - Page 625

  11. Andrei

    Salutare,

    In opinia mea, in astfel de articole ar fi trebuit efectuata o analiza statistica corespunzatoare.

    Mai exact, pentru a determina daca distributia datelor de la examenele romanesti respecta conditiile de normalitate, un simplu QQ-plot sau teste Kolmogorov-Smirnov si Shapiro-Wilk ar fi raspuns direct la intrebarea principala.

    "Fitting-ul" cu graficul corespunzator se fac doar in cazul in care in testele anterioare s-ar obtine un raspuns afirmativ. Atunci discutiile s-ar fi purtat asupra insemnatatii cozilor, skew-ului si kurtosis-ului. Altfel nu are sens. La o scara potrivita si cu o imaginatie bogata putem "fitui" cam orice la orice.

    De asemenea ar fi corect sa se indice un link concret la setul de date cu care s-a operat, poate mai sunt doritori in a reproduce sau comenta rezultatele.

    Pe scurt, consider ca nu se poate trage o concluzie asupra normalitatii in felul prezentat in articolul de fata.

  12. Marius Sorin

    Desi ideea unei astfel de analize statistice a notelor la evaluarea nationala este utila si interesanta, nu este suficienta, mai ales daca nu este nici foarte corecta si aici ma refer in special la premisele testarii de acest tip si la tipul de scala.
    1. Daca grila de scorare permite doar valori de la 0 la 10, distributia nu-si are sensul a fi reprezentata pe o scala cu valori mai mari de 10 deoarece nu este posibil a avea niciun subiect cu valori peste 10 (exista cateva grafice unde notele merg de la 0 la 20 si chiar la 70).
    2. Daca ati fi realizat distributiile doar pe intervalele de note posibile, cred eu ca aceste grafice ar fi fost si mai semnificative si mai usor de inteles pentru cei care poate nu cunosc statistica. Mai mult s-ar fi putut observa mai corect gradul de deviere de la media asteptata (desi nu e foarte clar care ar fi aceasta medie).
    3. Pentru a verifica daca examenele au fost prea simple sau prea dificile ar fi trebuie raportate la media asteptata.
    Intrebarea este care e aceasta valoare medie. Si aici e cheia interpretarii. Chiar daca scala de valori posibile este cuprinsa intre 1 si 10 (unde media teoretica ar fi 5,5), exista un barem introdus artificial, nota de trecere, care este 5. Mai exact, ca un elev sa promoveze clasa a VIII-a si sa participe la acest examen el trebuie sa nu fi fost corigent la nicio materie, deci automat sa aiba media minim 5 la fiecare materie. Astfel, vedem ca de fapt media mediilor la materiile relevante pentru examenul national se calculeaza doar pentru valori plasate intre 5 si 10. Deci, teoretic am avea o medie de 7,5. Un alt indicator, poate si mai relevant ar fi fost sa comparam distributia notelaor la examenul de capacitate cu distributiile la materiile la care au fost sustinute examene pentru clasa a VIII.
    Astfel, daca elevii din judetul X, au media la materia Y, pentru clasa VIII, de (aleg la intamplare) 8,15 atunci e mult mai util sa compar media scorurilor la capacitate cu aceasta medie de 8,15 (nu numai mediile, ci distributiile in ansamblul lor).
    Nu in ultimul rand, asa cum preciza cineva anterior, era utila si o analiza a normalitatii distributiilor.
    Mai mult decat atat, examenul de capacitate nu este un test standardizat (cum e SAT-ul sa zicem, unde avem un scor standardizat comparabil in timp si intre materii). Eu cred ca ar trebui sa devina. Dar in acest caz nu este atat de relevanta scala de valori ale scorurilor (notelor) posibile, cat pragul introdus de minister. De exemplu: pot stabili, la nivel teoretic, ca media pe care o astept la o materie este de 8 si atunci ma intereseaza nu atat daca distributia obtinuta e normala, ci care e distanta intre distributia obtinuta si norma. E adevarat ca nu stim care e aceasta norma asteptata. A propos, aceasta norma nu ar trebui calculata in functie de proprietatile scalei, ci de ceea ce reprezinta la nivelul cunostintelor paractice si teoretice nota 8, adica ce competente presupune.
    In concluzie: porniti de la asumptia teoretica ca distributia asteptata ar fi una normala, dar eu nu cred ca aceasta asumptie e corecta in cazul de fata.

  13. Marius Sorin

    O precizare. In cazul examenului de capacitate (eram cu mintea la cel de BAC) clasamentul este important deoarece in functie de acesta se fac plasarile pe licee, deci da, un examen prea usor ar genera o pondere ridicata de falsi pozitivi, in timp ce un examen prea dificil ar genera efectul invers: prea multi falsi negativi (desi acest din urma aspect ar putea fi corectat daca s-ar tine cont de scorurile percentile, fie la nivel national, fie regional - asta ar depinde de analizele facute de minister in urma carora sa iasa diferente majore intre regiuni, desi si aici ar fi de discutat daca aceste diferente, chiar daca exista trebuie luate in considerare sau nu, avand in vedere mobilitatea ulterioara, in cazul studiilor superioare sau a pietei muncii).
    Oricum, dupa atatia ani de examen national de capacitate, ministerul educatiei ar cam trebui sa incerce standardizarea acestui tip de examen astfel incat rezultatele sa poata fi comparate in timp, dar si in functie de diferite criterii. Si, odata examenul standardizat (cum e SAT, de exemplu), analiza distributiei normale ar deveni intr-adevar relevanta.

  14. Pingback: Barbu Mateescu (Sociollogica): Despre bacalaureat – fără prea mult Gauss | Radu Zlati - deputat de Gherla

  15. Pingback: Despre Evaluari ( cu si fara Gauss) — Picatura de Fiere

  16. Pingback: Când ai doar un ciocan, vezi peste tot numai cuie

Leave a Reply

Your email address will not be published. Required fields are marked *

Back to Top