Leren meten: van vergelijken naar begrijpen

Leergegevens zijn een belangrijk onderdeel voor het informeren van nationaal beleid en de wereldwijde dialoog in het onderwijs. Met dat in gedachten, een nieuw papier van de Wereldbank Een wereldwijde dataset over onderwijskwaliteit (1965‑2015) door Nadir Altinok, Noam Angrist en Harry Patrinos verzamelt gegevens van 163 landen en regio's van 1965 tot 2015 - een indrukwekkende prestatie.





Dit werk illustreert enkele belangrijke mogelijkheden voor het meten Duurzame Ontwikkelingsdoelstelling (SDG) 4.1 (om ervoor te zorgen dat alle meisjes en jongens gratis, rechtvaardig en kwalitatief goed basis- en secundair onderwijs volgen, wat leidt tot relevante en effectieve leerresultaten), met name voor ontwikkelingslanden die hebben deelgenomen aan regionale of internationale beoordelingen. Het werk onthult echter ook enkele beperkingen in de beschikbare gegevens.



Nieuwe methodiek voor het koppelen van regionale en internationale beoordelingen



De auteurs demonstreren een innovatieve benadering voor het samenstellen van een wereldwijde dataset over het leren van studenten, door internationale en regionale beoordelingen te koppelen. Ze laten zien dat het mogelijk is om gemeenschappelijke maatstaven voor het leren van leerlingen af ​​te leiden, terwijl de onderwijssystemen de flexibiliteit behouden om beoordelingsprogramma's te kiezen die passen bij hun context. Deze flexibiliteit vereist investeringen en innovatie in het ontwikkelen van geavanceerde, geschikte koppelingsbenaderingen. Het rigoureuze oeuvre waarop het document is gebaseerd, is een overtuigend voorbeeld van hoe het mogelijk is om SDG 4.1 voor veel landen te monitoren door voort te bouwen op bestaande leerbeoordelingen en koppelingsbenaderingen te gebruiken.



De beperkingen komen voort uit wat er in het papier ontbreekt. De belangrijkste resultaten van de analyse zijn vergelijkingen van resultaten tussen onderwijssystemen, ook tussen ontwikkelingslanden en ontwikkelde landen. De bevinding dat zelfs de best presterende ontwikkelingslanden onder de ontwikkelde wereld presteren, is op zich niet verrassend. Door deze verschillen te kwantificeren, levert het natuurlijk overtuigende informatie op over de omvang van de leercrisis waarmee sommige landen worden geconfronteerd. Het laat echter onbeantwoord de belangrijkere en complexere vraag wat hieraan kan worden gedaan.



nieuwe maan februari 2018

Het artikel gaat niet in op de verschillende manieren waarop leren in de relevante domeinen wordt beschreven in de verschillende beoordelingsprogramma's die worden geanalyseerd, of wat deze verschillen zouden kunnen betekenen voor het begrijpen van de resultaten. In plaats daarvan vertrouwt het op bepaalde tests als referentiepunten, waardoor het risico bestaat dat de kijk op leren wordt gericht op wat in die tests wordt geoperationaliseerd, in plaats van een globale kijk op leren samen te stellen, gebaseerd op de operationalisering ervan over de hele wereld. Om systeemverbeteringen mogelijk te maken, moeten de resultaten van leerbeoordeling meer zijn dan cijfers, maar moeten ze ook zinvolle beschrijvingen geven van de vaardigheid van leerlingen in de relevante domeinen.



Van het vergelijken van beoordelingsresultaten naar het begrijpen ervan

Hiertoe is de UNESCO Institute of Statistics Reporting Scales (UIS RS) , die worden voorbereid onder auspiciën van de Global Alliance to Monitor Learning, gericht op het bieden van een gedeeld globaal beeld van de leervooruitgang in lezen en wiskunde. De UIS RS zijn geen nieuwe beoordelingen, maar empirisch ontwikkelde referentiepunten waarop andere leerbeoordelingen kunnen worden afgestemd. Naarmate meer beoordelingsprogramma's worden afgestemd op de UIS RS, wordt een wereldwijd gesprek over hoe studenten vorderen in hun leerproces mogelijk, van vergelijking van resultaten naar begrip van hun betekenis. De UIS RS heeft veel mogelijke toepassingen bij het informeren van onderwijsverbeteringen en het begeleiden van systemen om hun leerlingen te ondersteunen bij het bereiken van hogere vaardigheidsniveaus.



Een ander groot voordeel van de UIS RS is dat elk robuust beoordelingsprogramma geschikt kan zijn voor afstemming, inclusief nationale beoordelingsprogramma's. Met drie meetpunten in SDG 4.1 (graad 2/3, einde van het basisonderwijs en einde van het lager secundair) in 193 onderwijssystemen, is het essentieel om onze rapportagemogelijkheden open te houden. Vertrouwen op internationale en regionale beoordelingsprogramma's bestaat alleen het risico dat onderwijssystemen worden uitgesloten die wellicht het meeste te winnen hebben.



hoe lang duurt een dag op Venus?

Het wereldwijd harmoniseren van leerbeoordelingsgegevens vereist een meervoudige aanpak

De waarde van de UIS RS was goedgekeurd door de wereldwijde beoordelingsgemeenschap in Hamburg in oktober 2017 . Een andere grote stap voorwaarts in Hamburg was de overeenkomst om bestaande grensoverschrijdende beoordelingen te koppelen, waarbij twee tot drie landen per regio deelnemen aan zowel Trends in International Mathematics and Science Study (TIMSS) als een regionale beoordeling in 2019.



Dit initiatief vereist niet alleen statistische koppelingen, maar vereist ook een gedetailleerde analyse en bespreking van de manier waarop leerdomeinen worden geconceptualiseerd in elke beoordeling, ook in ontwikkelde en zich ontwikkelende economieën. Het concept UIS RS zal een waardevol, programma-neutraal referentiepunt vormen om deze analyse te onderbouwen. Deze oplossing zou in de toekomst uitgebreid kunnen worden naar assessmentprogramma's in andere domeinen (PIRLS en LaNA), wanneer regionale en internationale assessmentcycli samenvallen. Het benutten van deze kansen zal afhangen van de snelle mobilisatie van financiering en van collaboratieve ondersteuning in natura.



De discussie in Hamburg bevestigde dat de wereldwijde harmonisatie van leerbeoordelingsgegevens een veelzijdig proces is, waarin een verscheidenheid aan methoden moet worden ontwikkeld en toegepast. Benaderingen zoals die in Een wereldwijde dataset over onderwijskwaliteit (1965-2015) hebben een waardevolle plaats binnen de reeks instrumenten die nodig zijn om de uitdagingen van het meten van de voortgang in de richting van de SDG's aan te gaan, naast het UIS RS- en Hamburg-initiatief.

vreemde objecten in de lucht

Ze kunnen nuttige tussentijdse maatregelen bieden, aangezien globale inzichten over leervoortgang in ontwikkeling zijn; en ook blijvende waarde hebben als referentiepunt in het mondiale beoordelingslandschap. De paper demonstreert ook enkele waardevolle mogelijkheden voor een meer gedetailleerde analyse van de SDG's, waaronder benchmarks om spreiding binnen systemen aan te tonen, uitsplitsing van gegevens naar geslacht en vergelijking van resultaten in de tijd.



Tegelijkertijd, als het wereldwijde gesprek over hoe om te meten dat leren in een stroomversnelling komt, is het ook belangrijk om te onthouden waarom. Het belangrijkste doel van SDG 4.1 is niet om het ene systeem met het andere te vergelijken, maar om de best mogelijke diagnose te krijgen van waar kinderen en jongeren zich in hun leerproces bevinden, zodat we kunnen plannen waar we heen gaan. Dit betekent dat de cijfers die worden gebruikt in SDG-rapportage zinvolle descriptoren moeten zijn van de locatie van de lerenden op een continuüm van vooruitgang; niet alleen een ranking op het wereldtoneel. Vanuit dit perspectief zijn de inspanningen van de Global Alliance to Monitor Learning om regionale en internationale beoordelingen te koppelen met behulp van de UIS RS van cruciaal belang en rechtvaardigen ze sterke internationale steun.