Vorige week vrijdag verzorgde Dominique Sluijsmans, lector Professioneel Beoordelen bij hogeschool Zuyd, een masterclass voor de studenten van de masteropleiding Leren & Innoveren over beoordelen en over de weg van een toetscultuur naar een feedbackcultuur in het leren. “Van vinken naar vonken”. Studenten hadden vooraf de lectorale rede van Sluijsmans bestudeerd. In de masterclass gaf Sluijsmans enkele kijkkaders mee om het gesprek over toetsing in de school te organiseren vanuit het perspectief van leren en innoveren.
DNA
“Beoordelen is verdomde moeilijk!” Sluijsmans gaf aan geen ’toverstokjes’ te hebben over toetsen en beoordelen. Ze merkt op dat we in het onderwijs geconditioneerd worden in het denken over toetsing, en dat dit denken onderdeel is geworden van ons DNA. Veranderingen op het terrein van toetsen en beoordelen bewerkstelligen is dan ook erg moeilijk, stelt Sluijsmans vast. Hierbij vindt zij het van belang dat de schoolorganisatie zelf de regie neemt, ongeacht de invloed van externe prikkels zoals inspectie en accreditatie.
Een belangrijke inspiratiebron van Sluijsmans is het boek van Adriaan de Groot: Vijven en zessen. De Groot is de grondlegger van de Cito-toets. De toets als objectieve maatstaf om de cognitieve capaciteiten van leerlingen te meten, en de subjectieve oordelen van de docent te corrigeren. Want, zo stelde De Groot, alle leerlingen dienen gelijke kansen te krijgen ongeacht de sociale achtergrond en dient willekeur bij het beoordelen van leerlingen tegen gegaan worden. Echter, standaardtoetsing heeft in de afgelopen decennia veel invloed gekregen op het curriculum, met alle gevolgen van dien. “We zijn in de afgelopen decennia eigenlijk niet opgeschoten met het denken over toetsen”, stelt Sluijsmans vast.
Bouwstenen
Sluijsmans beschrijft in haar lectorale rede vijf bouwstenen gericht op het professioneel beoordelen in het hbo. In de masterclass vertaald Sluijsmans dit ook moeiteloos naar de andere sectoren.
1. Professie
Wat zijn de doelen die je met je student nastreeft? Wat is je visie op leren en beoordelen om deze doelen te bereiken? Kernvragen die vervolgens de toetssteen vormen voor alles wat je aan onderwijs gaat ontwerpen. De kerndoelen van het onderwijs zijn kwalificatie, socialisatie en subjectivering. Doelen gericht op professioneel vakmanschap dienen gekoppeld te worden aan het ontwikkelen van onderzoekend vermogen en zelfontwikkeling. Bildung is een belangrijke doelstelling van het onderwijs: lerenden helpen bij het ontwikkelen van een moreel kompas, als onderwijs lerenden ethisch besef meegeven. Sluijsmans doet een pleidooi om het prachtige risico van onderwijs te omarmen.
Het fundament van nadenken over toetsen is het nadenken over het formuleren van leren. Doelgericht leren in plaats van toetsgericht leren. Om aan het einde iets te kunnen zeggen over dat leren, of een student voldoende bekwaam is. En dat vraagt…
2. Een programma van professioneel beoordelen
Hoe bereiken studenten deze doelen? Het gaat hier niet over toetsen maar over het verzamelen van informatie/bewijslast over leerproces zodat je een beslissing kunt maken. De kwaliteit van de vragen die tijdens beoordelingsmomenten gesteld worden aan de lerenden bepalen de kwaliteit van het toetsbeleid: het programma van beoordelen.
Een programma van beoordelen bestaat uit een ‘bonte mix’ van toetsmethoden, van informeel naar formeel, van formatief naar summatief. Verschillende datapunten die met elkaar verbonden zijn. Dit vraagt programmatisch denken, erg moeilijk. Het is echter geen toetsvraagstuk maar een ontwerpvraagstuk.
Een programma van beoordelen dient beoordelingsmomenten te verankeren in leren. Beoordelingen als geïsoleerde momenten in een curriculum, zonder aansluiting met leren en instructie, leidt bij de student tot de beleving dat het leerproces is afgesloten, terwijl het moment juist handvatten moet bieden zodat de student zich verder kan ontwikkelen. De kwaliteit van de toets zit altijd in de stimulus die je de lerende geeft, niet in het respons format. Formatief toetsen is een cyclisch proces. Assessment for learning. Waarbij geldt: never grade students while they are still learning. Of geef ze nooit cijfers.
Natuurlijk is het van belang dat beoordeeld wordt of een student in voldoende mate een kennisbasis beheerst, het criteriumgericht beoordelen, maar daarnaast moet ook worden vastgesteld of de student ten opzichte van het vorige meetpunt een bepaalde ontwikkeling heeft doorgemaakt, ontwikkelingsgericht- of ipsatief beoordelen. Zeer complex, want wat bepaald of een student een bepaalde ontwikkeling heeft doorgemaakt?
Er is ook sprake van normatief beoordelen, waarbij de student wordt beoordeeld op basis van de norm van de groep of cohort. Sluijsmans merkt op dat bij dit type beoordelen (en een aantal masterstudenten merken op dat dergelijke tabellen gewoon in de lerarenagenda’s staan) we dus per definitie accepteren dat een deel van de studenten/leerlingen altijd onder de norm zitten. Hoe moreel is het om zo te denken als docent?
Sluijsmans geeft aan dat ook een mix van beoordelingsperspectieven kan worden ingezet, als er maar sprake is van een beredeneerde inzet en je bewust bent van de beperkingen. De beslissingen die genomen moeten worden moeten in lijn staan van de doelen die men nastreeft.
Het vast stellen of iemand bekwaam is, bijvoorbeeld in het hbo via een eindassessment, noemt Sluijsmans een zware beslissing, er staat veel op het spel! En dan heb je veel datapunten nodig. Afzonderlijke datapunten, zoals een tentamen, geven alleen maar feedback en informatie. Er staat verder niet veel op het spel. Beoordelen is volgens Sluijsmans vooral een gesprek voeren over rijke informatie in plaats van cijfers, waarbij er holistisch gekeken wordt naar de lerende. Divergent beoordelen. Welk bewijs verzamel je om te bepalen of de lerende de onderwijsdoelen behalen?
3. Professionele beoordelaar
Docenten dienen zich te ontwikkelen van vakdocent naar expertbeoordelaar. Professionalisering is vaak gericht op het worden van een toetstechnicus, maar het is belangrijker om te kijken naar de lerende als geheel. Sluijsmans maakt onderscheid in type I en II expertbeoordelaars. Type I betreft de technici die kennis hebben van de beoordelingsinstrumenten en hoe je deze analyseert op betrouwbaarheid. De type II beoordelaar is de beoordelaar met de voeten in de klei en die in staat is om basis van zijn professioneel vakmanschap het complexe professioneel gedrag van de student te analyseren, te interpreteren en te beoordelen.
Hoe er meer er op het spel staat, hoe zwaarder de beslissing, hoe meer je moet investeren in de kwaliteit van het beoordelingsproces. Intersubjectief naar het beoordelingsproces kijken. Er zijn tal van beoordelaarseffecten die invloed hebben op deze beslissing. Dat komt gewoon voor: objectief beoordelen bestaat niet, betrouwbaar beoordelen wel. Om de betrouwbaarheid van beoordelen te garanderen zijn veel subjectieve beoordelaars nodig die naar de student als geheel kijken. Omarm de subjectiviteit.
4. Professionele student
Formatief toetsen is pas formatief toetsen als de feedback daadwerkelijk wordt gebruikt. Formatief toetsen betekent dus dat je studenten betrekt bij het beoordelen. Sluijsmans haalt een OnderwijsInnovatie-artikel aan: Toetsen doe je samen met studenten. Dat is om drie reden zinvol.
Ten eerste heeft formatief toetsen een meerwaarde voor het leren van de studenten. Formatief toetsen betekent dat je met de student praat over de doelen en beoordelingscriteria: feedup. De student informatie geven over waar hij staat in zijn ontwikkeling ten aanzien van het einddoel betreft feedback. Hierbij is het van belang om te bepalen of de student inderdaad behoefte heeft aan feedback of juist gebaat is bij extra instructie. Sluijsmans benoemt een paradox: je hebt als student domeinkennis nodig om iets te kunnen zeggen over je eigen ontwikkeling. Studenten met weinig kennis overschatten vaak de mate van ontwikkeling. Studenten met veel kennis hebben weer de neiging om hun ontwikkeling te onderschatten: hoe meer ik weet wat ik niet weet. Informatie geven over de stappen die nog genomen moeten worden om het einddoel te bereiken noemen we tenslotte feedforward.
Ten tweede leidt het actief betrekken van de studenten bij het beoordelen tot het stimuleren van de motivatie, ontwikkeling van de meta-cognitieve vaardigheden en zelfregulatie. Sluijsmans haalt hierbij het werk van Kelly Meusen aan, lector Onderwijsexcellentie bij Hogeschool Zeeland. Formatief toetsen in het hbo zou er op gericht moeten zijn om studenten in hun ontwikkeling van informatieverwerkers naar kenniswerkers te ondersteunen. Studenten moeten leren om feedback te vragen.
Ten derde heeft het betrekken van de studenten een meerwaarde voor de docenten. Door de studenten in alle fasen van de toetscyclus te betrekken krijgt hij meer informatie over waar de studenten staan en kan hij op basis hiervan interventies plegen die de studenten naar het gewenste einddoel begeleiden.
De professionele student is de student die om feedback vraagt, vanuit een nieuwsgierige en onderzoekende grondhouding, en leert om steeds meer verantwoordelijkheid te nemen voor zijn eigen leren.
5. Professionele beoordelingscultuur
Het gaat hier om toetscultuur (informatie-arm, ‘vinken’) versus feedbackcultuur (informatierijk, ‘vonken’). Van toetsgericht denken en handelen naar leerdoelgericht denken en handelen. Van het geven van informatie-arme cijfers naar het geven van informatierijke feedup, feedback en feedforward. De beoordelingscultuur bepaalt de opleidingscultuur, schrijft Sluijsmans in haar rede.
De kwaliteit zit in de beoordelaar en niet in het format. Ook in het team dient een shift plaats te vinden: van individueel denken en handelen naar collectief denken en handelen om zo de kwaliteit van beoordelen te versterken. Het gaat om het verankeren van experts in een professionele leergemeenschap, en dat vraagt educatief leiderschap van alle stakeholders.
De kwaliteit van toetsen wordt bepaalt door de zwakste schakel in het toetsweb: toetstaken, toetsprogramma, toetsbeleid, toetsorganisatie, toetsbekwaamheid. Hoe weet je nu met elkaar of je de juiste zaken beoordeeld en dat dit op een verantwoorde wijze wordt gedaan? Doen we het inhoudelijk goed? Organiseren we het goed? Beschikken we over de juiste competenties? Hoe werk je duurzaam aan het verbeteren van de kwaliteit?
Dit vraagt een kwaliteitszorgsysteem waarin men actief nadenkt over de aanpak van beoordelen, op basis van een visie op leren, en afgestemd op maatschappelijke ontwikkelingen en waarbij de aanpak systematisch geëvalueerd wordt. Een toetskompas als beleid en kaders voor het bewaken en versterken van toetskwaliteit.
Sluijsmans pleit voor scholen en opleidingen die op deze punten de regie pakken, met als uitgangspunt hun eigen context. Leg uit waarom je welke beslissingen neemt ten aanzien van beoordelen en laat dat zien aan inspectie en accreditatie.
Aanbevelingen
Sluijsmans rond af met een aantal aanbevelingen. Ze vindt dat er te weinig tijd en ruimte is voor professionalisering op het gebied van ontwerpen van onderwijs. Docenten moeten in staat zijn de tekening van het huis dat gebouwd moet worden te tekenen in plaats van alleen het huis te bouwen. Door het maken van de ‘tekening’ leer je hoe in het curriculum zaken met elkaar samenhangen. Sluijsmans toont hierbij het curriculaire spinnenweb van Van den Akker (‘nu ook aanklikbaar‘)
Leiderschap is cruciaal voor welke verandering dan ook. Het implementatieproces begint bij opruimen en kijken waar je staat. Begin met een ‘grote schoonmaak’ van het curriculum. Wat past er nog in qua curriculumonderdelen en toetsen? Wat gaat in de container, wat vraagt een opknapbeurt (herontwerp of herziening). Dat kost tijd is Sluijsmans zich bewust, en de tijd om dergelijke vragen goed te beantwoorden is er vaak onvoldoende. Het is belangrijk dat we ‘durven te vertragen’ in deze, stelt Sluijsmans.
Er komt echter een fase waar een ’nieuwe taal’ gesproken wordt over beoordelen. Men is zich aan het heroriënteren. Leiderschap is van belang om deze taal ook in gedrag om te zetten. De spannendste fase is volgens Sluijsmans leidinggeven aan het experiment. Om bij tegenslag terugval naar het oude systeem te voorkomen. Om de verandering naar een feedbackcultuur duurzaam te laten zijn is het van belang om een en ander goed te structureren, door te werken aan een kwaliteitzorgsysteem, om vervolgens het nieuwe denken over beoordelen in het DNA van de docenten te verankeren.
De bouwstenen voor deze verandering zijn visie, structuur, cultuur, mensen, middelen en resultaten. Zonder visie geen toetssteen en dat leidt tot verwarring. Geen structuur en organisatie van processen? Chaos is het gevolg. Als kernwaarden (cultuur) niet matchen met de visie? Weerstand. Je niet bekwaam voelen in dit proces levert ongerustheid op. Als er geen ontwerptijd is leidt dit tot frustratie. Geen resultaten? Wat is de toegevoegde waarde geweest? Nutteloosheid.
Ten slotte
Aan het begin van de masterclass stelde Sluijsmans de vraag aan de studenten wat ze ten aanzien van toetsing in hun praktijk zouden willen stoppen, handhaven en versterken. Aan het einde van de masterclass hebben de studenten kennisgemaakt met een aantal kijkkaders om hier beargumenteerde beslissingen in te nemen en na te denken hoe zij als master hier hun collega’s in kunnen begeleiden. De vraag om te stoppen met een toetscultuur en over te gaan naar een feedbackcultuur wordt nog te weinig gesteld, sluit Sluijsmans af.
Meer over formatief toetsen en feedbackcultuur is te lezen in de net verschenen publicatie Toetsrevolutie. Naar een feedbackcultuur in het voortgezet onderwijs onder redactie van Dominique Sluijsmans en René Kneijber.