Kipub jääma mulje, et OECD on ülim tõeinstants ja PISA test nii hea, et selle tulemused on lõpliku tõe väärtusega ja annavad hinnangu riigi haridusele laiemalt. Õnneks see siiski nii ei ole ja olla ei saagi. Maailmas on PISA testi ka palju kritiseeritud ning mõistlik oleks Eestis seda debatti vähemasti mainida.

Igasuguse uuringu oluline osa on selle meetodi läbipaistvus ning selleks peavad saama sama materjali, samu andmeid hinnata ka teised, värske pilguga sõltumatud uurimisgrupid, ning peab saama analüüsida riike ka teiste testidega (näiteks TIMSS ja muud testid). Loomulikult peaks ka andmete kogumise protseduuri hindama teised sõltumatud uurimismeeskonnad. Kõike seda on ka juba tehtud, kuid mitte ajakirjanduses kajastatud.

PISA testi esimene probleem on selle meetodite vähene läbipaistvus. Sellele on juba mõnda aega tähelepanu juhitud ning 2006. aastal avaldati ka PISA testi uuringumeetodi raport. Kui riikide edetabelit sai meie üldsus lugeda kohe ja tasuta, siis uuringu enda kohta ei teata laiemas ringis eriti midagi. Kuidas toimub testitavate valik? Kas valim on piisavalt esinduslik? Milliste teiste testidega kontrollitakse testi tulemusi? Kes, mille alusel ja mis keeles sõnastab testi küsimused?

Kui suur on ühe või teise küsimuse osakaal testi lõpptulemuses? Miks on just raamatute arv kodus oluline näitaja? Mil määral mõjutab küsimuse konkreetne sõnastus vastuse sisu ja riigi kohta edetabelis üldisemalt? Kes on kriitiliselt analüüsinud küsimuste tõlgete täpsust ja nende sõltumatust kultuurilisest eripärast? Kui küsimus sõnastada teisiti, kas tulemused jääks samaks? Kes on need teadlased, kes ühes või teises riigis uurimuse läbi viisid?

Teine oluline kainestav tõdemus on see, et lapse edukus koolis ei sõltu mitte ainult õpikeskkonnast antud ajahetkel, vaid see on 15 eluaasta jooksul kogetu lõpptulemus. Seega tuleks haridustaseme hindamisel hinnata justkui kogu lapse elukäiku. Mitmete uuringutega on näiteks leitud, et lapse varajane, esimestel elukuudel kogetud lähedane kontakt lapsevanema või muu hooldajaga ning lapse kognitiivset arengut stimuleeriv keskkond mõjutab märgatavalt õppeedukust hilisemas eas ja seda pika aja vältel. Hiljem on seda arenguerinevust väga raske tasa teha. Sellest teadmisest lähtudes võiks huupi arvata, et näiteks emapuhkuse pikkus on üks oluline faktor riigi koolihariduse edukuses alg- ja põhikoolis.

Kõige rohkem on teadlaste kriitikat aga pälvinud PISA testi ambitsioon: kas ikka on võimalik mõõta nii paljusid näitajaid samas uuringus ning teha seda 72 erineva kultuuritaustaga riigis, kus inimestel on väga mitmesugused arusaamad hea hariduse sisust ja eesmärkidest?

Iga test näitab seda ja ainult seda, mida selle testiga mõõta on tahetud. Kui test ei ole metoodiliselt väga hästi koostatud, siis ei näita see eriti midagi. Nii nagu Eesti koolide edetabelid ei näita, millised on „head koolid“, vaid siiski ainult seda, kui hästi tehakse ühes või teises koolis antud ajahetkel üht või teist riigieksamit, täpselt nii näitab ka PISA test ainult seda, mida see test on metoodiliselt võimeline mõõtma.

Hinnangu sellele peavad andma teadlased. PISA test on ühe meeskonna või organisatsiooni uurimistöö aruanne, mille tulemuste avaldamisel peaks ajakirjandus ka samaaegselt erapooletult, proportsionaalselt ja läbipaistvalt kajastama seda, kuidas seda testi on läbi viidud. PISA test ei saa mõõta seda, kui „hea“ on haridus Eestis või ülejäänud 71 testitud riigis, vaid siiski ainult seda, kui hästi tehakse nendes riikides PISA testi.