We zijn bijna op de helft van het BDB-traject dat ik samen met collega’s organiseer voor een groep ’nieuwe collega’s’ in Haarlem. We naderen het einde van de eerste periode en starten met een eerste ronde van beoordelingen op basis van de producten van de cursisten. Vanochtend stond de lespraktijk van de cursisten centraal. In de middag spraken we over evalueren van onderwijs en was er ruimte voor de cursisten om verder te werken aan de producten waarbij ze vragen aan elkaar en aan de begeleiders konden stellen. In deze blogpost beschrijf ik mijn indrukken van vandaag, ook om mijn collega’s op de andere locaties te informeren. Deze blogpost is onderdeel van een serie.
Docentcommunicatie
De rode draad van de ochtend was het effectieve docentcommunicatie: benoemen van waarneembaar docentgedrag. Hierbij gaat het om het analyseren van de interactie tussen cursisten en docent, en wat de docent vervolgens bewust en/of onbewust doet om aansluiting te vinden bij de cursist en hem of haar te begeleiden/richten/sturen in het leerproces. Het gaat hier om communicatieve vaardigheden, het benoemen van gewenste gedrag, afstemming van non-verbale communicatie met verbale communicatie, het voeren van een onderwijsleergesprek, leidinggeven, etc.
Bij het eerste onderdeel van de bijeenkomst bracht een cursist een casus in om aan te tonen hoe hij de inhoud van de BDB-cursus gebruikt om zijn lessen beter te structureren en hoe dat een ‘leuk opgebouwde’ les opleverde waarin hij zijn passie voor het vak kon delen met zijn cursisten en de cursisten actief kon betrekken bij de inhoud van het college. Nadat we dit succes gevierd hadden, zijn we vervolgens gaan analyseren wat nu precies maakte dat er sprake was van een effectieve bijeenkomst en welk ‘docentgedrag’ daaraan bijgedragen had. “En hoe zie ik jou dat nu doen?”. Dat is geen eenvoudige vraag, maar wel een belangrijke om te stellen. Wat werkte goed, zodat je dat wellicht de volgende keer ook kunt doen?
Bespreken video-opnames lessen
Het analyseren van docentgedrag stond ook centraal in het bespreken van de video-opnames van cursisten. Over de opzet van deze werkvorm heb ik de vorige keer uitgebreid geschreven. Ik gaf in dit verslag ook aan dat het bekijken van een dergelijke rijke videocasus ondersteund moet worden met een instrument, een kijkkader. Dergelijke kijkkaders zijn niet alleen van belang voor het richten van het gesprek ná het bekijken van de videocasus, maar dienen ook voor het richten van de aandacht tijdens het kijken. Ook hier dien ik als begeleider het leren te ondersteunen (en het belang hiervan wordt o.a. in deze en deze blogpost duidelijk gemaakt).
Ik heb een aantal kijkwijzers uitgedeeld en besproken, waarbij de eigenaar van de videocasus aangaf welke kijkwijzer wellicht de meeste informatie zou opleveren. Het gevolg was dat de gesprekken over de videocases even waardevol waren als de vorige keer, maar dat we dit keer echt keken naar waarneembaar gedrag. En dat leverde leerzame gesprekken op.
Alle cursisten hebben nu een videocasus gemaakt en gedeeld en op basis van de gesprekken veel feedback verzameld. Wat voor de cursisten, maar ook voor ons als studiebegeleiders, een eyeopener is is de enorme diversiteit van onderwerpen en onderwijsvormen. De ene cursist zien we cursisten begeleiden tijdens een ‘werkbespreking van een projectgroep’, de ander verzorgt een hoorcollege, en weer iemand anders zien we cursisten begeleiden in het schrijven van scripties op basis van peerfeedback die cursisten elkaar hebben gegeven. Vandaag keek ik met veel interesse naar een cursist die cursisten de basis leerden van echoscopie, waarbij de cursisten na een demo zelf moesten oefenen. Ik krijg dan zin om dat ook te leren. Door deze BDB-klus krijg ik wel een heel mooi beeld van de verschillende opleidingen bij Inholland.
Het leren van collega Ronald, die als ’trainee’ met mij meeloopt, gaat ook door. Hij is pedagoog, waarbij ik meer kijk met de bril van de instructional designer. Ik denk al snel over de effectiviteit van de instructie, en wat je kunt doen om de instructieactiviteit te verbeteren, gekoppeld aan de onderwijskundige theorie. Ronald richt zijn voelsprieten sneller op aspecten die te maken hebben met het opbouwen van een relatie met cursisten, met name de ‘complexe gevallen’, die ook essentieel zijn voor een betekenisvol leerproces. Het is eigenlijk zonde dat we in de toekomst de bijeenkomsten alleen moeten verzorgen. De meerwaarde van verschillende perspectieven van studiebegeleiders is voor onze cursisten evident.
Evaluatie van onderwijs
Ik heb de cursisten kennis laten maken met de onderwijscyclus van Inholland, een vliegwiel voor kwaliteit.
In de onderwijscyclus speelt evaluatie een belangrijke rol. Het proces van evaluatie betreft het verzamelen, analyseren en interpreteren van informatie over het uitgevoerde onderwijs met als doel het doen van een uitspraak over effectiviteit, efficiëntie en andere kwaliteitsaspecten van het onderwijs. Is toetsing dan niet hetzelfde als evalueren? Beide begrippen raken hetzelfde thema. Bij toetsing gaat het om het verzamelen van en analyseren van bewijzen en effecten (ten aanzien van het leren van cursisten, of effectmeting van een bepaalde interventie). Evaluatie richt zich op het interpreteren van deze data om er vervolgens een uitspraak over te doen.
Bij toetsing en evaluatie van leeractiviteiten is het van belang om te weten of er (1) criteriumgericht wordt gekeken naar de resultaten (wat is het doel van de leeractiviteit en heeft de cursist dit doel bereikt), (2) normgericht (hoe presteert de cursist en opzichte van zijn mede-cursisten) of (3) ontwikkelingsgericht (hoe heeft de cursist zich ontwikkeld).
Vervolgens kan evaluatie van onderwijs gericht zijn op het systematisch verbeteren van leeractiviteiten door informatie te verzamelen over mogelijke tekortkomingen en het voorstellen van verbetersuggesties. Het gaat hier om prototypes van de leeractiviteiten. Er is sprake van formatieve evaluatie. To improve. Summatieve evaluatie richt zich op het systematisch verzamelen van informatie over de effectiviteit van een leeractiviteit inclusief de bijbehorende argumenten. To prove. En vervolgens dient er een beslissing genomen te worden over de voortgang van het uitvoeren van deze activiteit.
Er wordt veel geëvalueerd binnen Inholland. De cursisten zijn vooral bekend met de periode-evaluaties van cursisten en de NSE. Niet elke opleiding kent een ‘evaluatie-cultuur’, er zijn grote verschillen tussen de situaties van de cursisten. Er is vaak ook sprake van een eenzijdige benadering. De perceptie van de cursist is uiteraard belangrijk, maar deze wordt niet systematisch geanalyseerd en bijvoorbeeld gekoppeld aan docentenvaluaties, als die al plaatsvinden, blijkt uit het gesprek met de cursisten.
Om de cursisten een denkkader mee te geven hebben we het model van Kirkpatrick opgenomen, een standaard op het terrein van evaluatie van leeractiviteiten. Kirkpatrick beschrijft vier niveaus waarop het resultaat van een leeractiviteit gemeten kan worden. Heeft het effect gehad? Het betreft het evalueren van de reacties (tevredenheid), het leren (verworven kennis), of de verworven kennis ook wordt toegepast (gedrag) en of het leidt tot het uiteindelijke resultaat (prestatieverbetering). Toch kent dit model wat kanttekeningen. Het model wordt als een piramide gepresenteerd, en dat veronderstelt relaties tussen de niveaus. Het gaat om transfer van leren. De kritiek op het model is dat het een te simpele weergave is van een leeractiviteit, en geen recht doet aan de complexe context waarbij je te maken hebt met de kenmerken van de lerende en de leeromgeving.
Werksessie
De rest van de middag hebben de cursisten gewerkt aan hun opdrachten, waarbij met name de BKE-opdracht, de toetsanalyse, veel aandacht vraagt. Mooi om te zien hoe cursisten elkaar helpen met de kwalitatieve en kwantitatieve analyses. Een paar mooie foto’s kunnen maken!
De vragen van cursisten over de p-waarde, rit-waarde, etc, en de interpretatie van deze waardes, helpen mij om mijn kennis over deze onderwerpen steviger te maken. We pakken de literatuur er nog eens bij, en ik pas een hard-op-denken-strategie toe tijdens het oplossen van het vraagstuk. Het helpt de cursist, ik heb er zelf ook baat bij. De cursisten maken dankbaar gebruik van de Excel-templates voor de psychometrische analyses. Maar hoe laat je Excel nu ook al weer de Cronbach’s alpha, een maat voor de betrouwbaarheid van de toets, uitrekenen? We zoeken het samen uit.
Het is belangrijk om deze werksessies te organiseren. Het niet alleen een welkome modus zo in de middag, na veel dialoog, maar het biedt mij ook de gelegenheid om direct feedback te geven en de cursisten te helpen met het maken van allerlei verbindingen!
En dan breekt er nu een periode van formatieve en summatieve beoordelingen aan om over twee weken te starten met de tweede periode van het BDB-traject, waarbij we wat meer op het curriculumniveau gaan zitten. Tussentijds evalueren we eerste periode, om te kijken welke aspecten van het traject we nu al kunnen verbeteren.