PPON Balansen

(als de onderwijsinspectie beweert?)

Resultaten lopen geleidelijk terug
Onlangs kwam de Inspectie van het Onderwijs met haar jaarlijkse ‘Staat van het onderwijs’. De toon was behoorlijk somber: de kwaliteit van het onderwijs kachelt achteruit. Met name in het funderend onderwijs vertonen de resultaten van de leerlingen een duidelijke teruggang. Met taal en rekenen gaat het bergafwaarts en de rest valt ook tegen. In plaats van een foto heeft de inspectie nu een film gemaakt:
En deze film levert een ander beeld op: de afgelopen twintig jaar zijn de gemiddelde resultaten van Nederlandse leerlingen in het funderend onderwijs geleidelijk teruggelopen. Dat zagen we vorig jaar in internationale onderzoeken, nu zien we het ook in de landelijke gegevens (Citaat uit de inleiding van inspecteur-generaal Vogelzang).

In het rapport wordt gesteld dat het met de basisvaardigheden achteruit gaat en dat met name bij lezen de resultaten behoorlijk zijn gedaald.
De media nemen een dergelijke tekst van een gerenommeerde instantie als de inspectie natuurlijk zeer serieus en onmiddellijk buitelen de experts over elkaar heen met verklaringen over de oorzaak van deze neergang en worden oplossingen aangedragen om de problemen van het blijkbaar zwakke onderwijs op te lossen.

Maar klopt die conclusie wel?
Als ik me beperk tot het basisonderwijs, heb ik ernstige bedenkingen bij deze conclusie. Ervaring met bijna drie decennia van landelijke peilingen in het basisonderwijs (PPON) hebben mij duidelijk gemaakt dat wijzigingen in het algemene niveau bij de basisvaardigheden zich zelden en dan slechts in geringe mate voordoen.
Nog sterker: de conclusie is in strijd met landelijk peilingsonderzoek zoals dat sinds 1989 is uitgevoerd door Cito (PPON). Als we het hebben over het niveau van rekenen en taal in de afgelopen 25 jaar, dan zijn de uitkomsten van de meest recente rapporten heel anders. De resultaten van 2011 betreffende Rekenen-wiskunde laten zien dat er sinds 2004 weinig is veranderd in het algemene niveau en er zijn eerder positieve dan negatieve trends (PPON Balans 58, p. 137). Voor Begrijpend lezen toont de vergelijking van 2011 met 2005 hetzelfde: de vaardigheid is of gestegen of gelijk gebleven (PPON Balans 54, p. 12). De Balans over Taalverzorging (spelling, interpunctie, grammaticaliteit en zinsontleding-woordbenoeming) laat ook overwegend positieve of gelijke resultaten zien bij een vergelijking van 2009 met 1999 (PPON Balans 55, p. 191).
Deze conclusies uit gedegen landelijk peilingsonderzoek zijn dus in strijd met de conclusie dat het de laatste 20 jaar bergafwaarts gaat.

PPON Balansen
PPON rapporten rekenen en taal

Wat is hier aan de hand?
Wat ontbreekt, en dat lijkt me cruciaal, zijn de uitkomsten van een recent fatsoenlijk landelijk peilingsonderzoek, zoals dat tot 2014 door het voormalige PPON werd uitgevoerd voor rekenen en taal. Alleen met een dergelijke aanpak, zou op wetenschappelijk verantwoorde wijze een vergelijking over de tijd kunnen worden gemaakt en een degelijke conclusie kunnen worden getrokken. De inspectie is sinds 2014 zelf verantwoordelijk voor de planning van deze peilingen, maar vertrouwt sindsdien voor rekenen en taal/lezen op de uitkomsten van andere onderzoeken.

Waarop baseert de inspectie haar conclusies dan?
Basis voor de conclusies zijn de uitkomsten van twee recente onderzoeksrapporten. Als het gaat om de basisschool zijn dat de ‘jaarlijkse peiling’, gebaseerd op de eindtoetsscores van jaargroep 8 en het internationale vergelijkend onderzoek voor jaargroep 6: PIRLS.

De ‘jaarlijkse peiling’ in groep 8
De zgn. jaarlijkse peiling probeert de uitkomsten op de Eindtoets van groep 8 over de jaren heen te analyseren. Dit onderzoek bestaat sinds 2009 en zou 10 jaargangen kunnen beslaan ware het niet, dat de Eindtoets inmiddels sterk is gewijzigd. Sinds 2014 is het tijdstip van afname in de tijd verschoven en is de inhoud afgestemd op de sinds 2010 ingevoerde referentieniveaus voor rekenen en taal. Deze veranderingen maken vergelijken over de tijd ingewikkeld. Er valt veel via statistische technieken te corrigeren, maar zo’n verschuiving in de tijd blijft lastig. Daarom rapporteert men nu alleen over de afgelopen drie jaar. Bovendien is het aantal deelnemende scholen door de vrije keuze van een eindtoets in korte tijd teruggelopen van 90% naar ca. 60 % en die terugloop is niet aselect.
Wat komt er uit de jaarlijkse peiling?
In dit onderzoek worden de uitkomsten getransformeerd naar een uniforme meetschaal met als gemiddelde 250 (sd= 50). Sinds 2015 (het nieuwe jaar 0) zien we voor de drie gerapporteerde onderdelen van de Centrale Eindtoets (CET) de volgende uitkomsten:

Vaardigheidsscores voor referentieniveauschalen (M=gemiddelde; S= standaardafwijking)

M M M S S S
Vaardigheden 2015 2016 2017 2015 2016 2017
Rekenen 250,0 248,5 253,6 50,0 50,6 49,4
Lezen 250,0 248,7 239,0 50,0 52,4 51,3
Taalverzorging* 250,0 255,4 257,4 50,0 51,6 50,8

* Spelling, interpunctie en grammatica  (Bron: Hemker, Cito, 2018)

De resultaten van de leerlingen gaan vooruit bij Rekenen en bij Taalverzorging t.o.v. 2015. Bij lezen zien we een achteruitgang. In een andere tabel in het betreffende technische rapport zien we dat het percentage leerlingen dat het streefniveau haalt gaat van 76,4 naar 65,4.

streefniveaus jaarlijkse meting

Zoals de onderzoeker van Cito in zijn rapportage al toelicht is deze grote achteruitgang in % voor een deel toe te schrijven aan de toepassing van een discontinue schaal (aantal goed), maar niettemin is de daling fors vergeleken, met de andere gemeten vaardigheden. Rekenen gaat van 43,7 naar 47,5 en taalvaardigheid blijft op 56,8.
De vraag is wat hier aan de hand kan zijn, immers een dergelijke verandering is bij een vaardigheid als begrijpend lezen zeer onwaarschijnlijk. Deze vaardigheid ontwikkelde zich vanaf 2008 tot en met 2014 als volgt (gemiddelden): 250-252-254-257-253-253-252. En dan zou het nu 239 zijn? Welk drama heeft zich in 2016-2017 afgespeeld dat dit kan verklaren?

scores lezen JPON
scores lezen jaarlijks peilingsonderzoek

 

Bron: Cito, Jaarlijks peilingsonderzoek 2014 en 2018

De eindtoetsen (CET en voorheen Cito Eindtoets Basisonderwijs) waarop deze cijfers zijn gebaseerd bestaan elk jaar uit compleet andere opgaven dan het jaar daarvoor. Toch kunnen de resultaten via een statistische u-bocht worden gekoppeld. Gaat het daar misschien fout? Of is de operationalisering veranderd en zijn de toetsen wellicht toch niet inhoudelijk vergelijkbaar?
Hoewel de inspectie deze problemen wel degelijk onderkent schroomt zij niet om in haar conclusie deze terugval serieus te nemen.

Uitkomst PIRLS 2016 bij groep 6
Gegevens over het niveau van leesvaardigheid kunnen ook ontleend worden aan de internationale periodieke peiling van leesvaardigheid in groep 6 (PIRLS). Deze peiling vindt eens in de 5 jaar plaats. De conclusie van dat onderzoek is dat de uitkomsten stabiel zijn, maar nog steeds iets lager dan in 2001 bij de eerste meting. Het meest dramatisch in deze uitkomsten is dat Nederland gestaag zakt in de rangorde, omdat er andere landen bij zijn gekomen die beter zijn of omdat andere landen het beter zijn gaan doen. Bovendien blijkt dat Nederland vergeleken met andere landen weinig geavanceerde lezers heeft (maar ook weinig zwakke lezers!). Verder is de motivatie voor het lezen bij Nederlandse kinderen laag, maar dat is die van de kinderen in Hong Kong ook en die staan op de derde positie in de ranglijst!

Uitkomst TIMMS 2015 bij groep 6
Uit de internationale periodieke peiling in groep 6 naar rekenen (en wiskunde, natuur en scheikunde) kwam een vergelijkbaar beeld als bij PIRLS naar voren. Deze peiling is eens in de vier jaar. Nederland zakt ook hier in de ranglijst en wordt door andere landen ingehaald. Bovendien bleek dat de rekenprestaties gaandeweg, na een opleving in 2011, daadwerkelijk (significant) zakten. Verder zien we vergelijkbare uitkomsten als bij PIRLS: weinig excellente leerlingen, maar ook weinig zwakke rekenaars.

Conclusie internationaal peilingsonderzoek
Het probleem blijft dat de uitkomsten gevonden in internationaal vergelijkende studies niet stroken met ons nationaal peilingsonderzoek in groep 8. Naast het feit dat de internationale peiling op jongere leeftijd is dan bij PPON (en na groep 6 kan er nog van alles gebeuren), kan hier ook de operationalisering van doelen naar toetsen een belangrijke rol spelen. Want het maakt nogal wat uit of je bijvoorbeeld vooral cijferen toetst of hoofdrekenen. PPON heeft laten zien dat er ondanks een redelijk stabiel algemeen niveau wel degelijk veranderingen optreden bij de deelgebieden (zie Balans 25 jaar PPON ). Dat maakt duidelijk dat de keuze van een evenwichtige en voor de kerndoelen representatieve set aan opgaven van doorslaggevend belang is voor de uitkomsten.
Verder is het vergelijken van leerprestaties met die van andere landen een hachelijke aangelegenheid door allerlei culturele verschillen, ook in het curriculum, en verschil in taalgebruik, zeker bij een vaardigheid als begrijpend lezen. Wel mogen we concluderen dat Nederland in de betreffende fase van het onderwijs, bij 10-jarigen dus, niet meer meedoet aan de internationale top.

onderwijsinspectie

Verder dan taal en rekenen
Naast de toegenomen aandacht voor basisvaardigheden is er de laatste decennia veel veranderd in het onderwijsaanbod. Er zijn onderdelen die zwaar aan belang hebben ingeboet, maatschappelijk en dus ook op school. In het curriculum komen ze daardoor minder aan de orde. Dat zie je terug in de resultaten bij de leerlingen: minder aandacht voor kunst, muziek, vaderlandse geschiedenis, topografie, techniek (natuurkunde) etc. leidt tot zwakkere prestaties op die gebieden.
Maar er gaan ook dingen goed:
Naast het feit dat rekenen en taalvaardigheid in groep 8 vooruit lijken te gaan zijn er nog meer positieve ontwikkelingen: er blijven minder leerlingen zitten en er zijn meer leerlingen die versnellen. Het onderwijs wordt dus efficiënter (zie Basisonderwijs steeds efficiënter ). Ook gaan er meer leerlingen naar het VWO en het aantal zeer zwakke basisscholen is de laatste 20 jaar behoorlijk afgenomen.

Conclusie
Mijn conclusie op basis van de beschikbare rapportages zou dan ook zijn: het gaat best aardig met het primair onderwijs wat betreft rekenen en taal. Het niveau is constant hoog, alleen zijn er inhoudelijk wel veranderingen opgetreden in de laatste 25 jaar. Dat zien we mooi geïllustreerd bij de rekenresultaten (presentatie Panamaconferentie 2018 Hickendorff ). Door echter zo te focussen op de basics, zijn er behoorlijk wat gaten gevallen in de bredere ontplooiing van de leerlingen: denk bijv. aan kunstzinnige vorming (muziek!), bewegingsonderwijs en natuur- en techniek. Daarvoor is wel recent echt peilingsonderzoek gedaan en de uitkomsten waren niet zo positief…
Belangrijk is om nu eerst weer gedegen nationaal peilingsonderzoek voor rekenen en taal te doen. Voor rekenen is dat gelukkig al gepland (2018-2019). Zaak is om voor begrijpend lezen en taalverzorging ook actie te ondernemen. Pas daarna kunnen we met zekerheid iets zeggen over de kwaliteit van het basisonderwijs wat betreft rekenen en taal.

Wellicht dat we daarna ook kunnen vaststellen of er weer ruimte is om meer aandacht  te geven aan onderwerpen die niet tot de zgn. basics behoren, maar ook belangrijk zijn. Want een leerling heeft meer nodig in het leven dan alleen reken- en taalvaardigheden.