Vandaag organiseerde ik samen met mijn collega de vierde bijeenkomst van het BDB-traject voor een groep ‘nieuwe collega’s’ in Haarlem. In de ochtend stond de lespraktijk van de cursisten centraal, met aandacht voor o.a. klassenmanagement. In het middagdeel hebben we gewerkt aan het BKE-onderdeel van deze periode: het analyseren van toetsen. In deze blogpost beschrijf ik mijn indrukken van vandaag, ook om mijn collega’s op de andere locaties te informeren. Het begint een serie te worden.
Casus cursist
Zoals gebruikelijk zijn we de cursusdag gestart met het bespreken van een casus van één van de cursisten. Ik hanteer hierbij een variant op de incident-methode: (1) de cursist geeft een toelichting op de casus, waarbij nog geen oplossingen aangedragen moge worden; (2) de mede-cursisten oefenen met het stellen van objectieve verhelderingsvragen om het probleem van verschillende perspectieven te benaderen, om (3) vervolgens te praten over oplossingen. De casus betrof een boze reactie van een student op een interventie van de docent, via de mail. Hoe reageer je op zo’n actie. Of niet? Hoe kun je je verplaatsen in de student om er achter te komen wat ten grondslag kan liggen aan het gedrag? Hoe herstel je de dialoog zodat de student, en docent, weer verder kunnen met het leerproces?
Bespreken video-opname lessen
Drie cursisten waren vandaag aan de beurt om een lesopname te laten zien. Na een korte inleiding en kijkopdracht van de cursist keken we gezamenlijk naar het fragment, vervolgens stelden we verhelderingsvragen, om vervolgens met gerichte feedback te komen. Wat een bijzonder krachtig onderdeel is dit toch! De cursisten waarderen dit onderdeel! De reden dat het krachtig is heeft m.i. vooral te maken doordat we met elkaar een veilige leeromgeving hebben gecreëerd waar de cursisten het aandurven zich kwetsbaar op te stellen en ontvankelijk zijn voor feedback, en de anderen zeer respectvol omgaan met de cases en op een positieve wijze feedback geven.
We hebben voor het opnemen en aanbieden van de video’s een routine beschreven waarbij de studenten een montage van maximaal 10 minuten uploaden naar hun account op MyMediasite en deze delen via de digitale omgeving. De montage bevat een aantal fragmenten waar de cursist tevreden over is, en een aantal fragmenten met leerpunten. Twee cursisten maakten gebruik van deze routine, en dan merk je ook dat er gerichter wordt gekeken, en het levert de cursist in kwestie een concreet resultaat op.
Eén cursist merkte op dat ze door de montage-opdracht gedwongen werd om haar opname een aantal keren te bekijken, waardoor het ook makkelijker werd naar jezelf te kijken en te luisteren. Overigens hebben de twee cursisten die gebruik hebben gemaakt van de routine hun video’s bewerkt in MovieMaker en vervolgens aangeboden via MyMediasite. De andere cursist realiseerde zich dat het snel opnemen van een instructie-onderdeel via een mobieltje (1) kwalitatief slecht videomateriaal kan opleveren en (2) daardoor weinig gerichte feedback oplevert.
Fine-tuning
Volgende bijeenkomst zijn de laatste cursisten aan de beurt. Ik ga ze verzoeken om de hiervoor ontworpen routine te gebruiken, hun video via een link aan te bieden op het forum en de video goed in te leiden en daarbij een kijkopdracht te geven. We kunnen dan zowel online, ter voorbereiding, als in de bijeenkomst naar de video kijken en deze gericht analyseren. Ik kan de input gebruiken om een goed onderwijsleergesprek voor te bereiden, want het stellen van goede vragen vind ik nog best lastig. Daar neem ik liever even de tijd voor.
De casus van de cursist die op deze wijze wordt ingebracht is het uitgangspunt van het leergesprek tijdens de bespreking. Ik wil voor de volgende keer kijken of ik toch een instrument kan inzetten om dit gesprek wat meer te ondersteunen, en waar ik en de cursisten ook andere feedback kwijt kunnen. Want naast het vraagstuk van de cursist, zie ik nog veel meer waar ik feedback op zou willen geven. Of is dat toch echt de taak van de werkplekbegeleider? Even over puzzelen.
Ik heb vandaag veel geleerd van mijn collega Ronald. Ronald is de pedagoog, waar ik meer de onderwijskundige bril op heb. Onze wisselwerking is uitstekend, en ik vind het mooi om te zien hoe hij de cursisten een spiegel voorhoudt door letterlijk het gedrag van de cursist uit te beelden.
Klassenmanagement
Een onderdeel dat eigenlijk perfect aansloot op de video’s van de cursisten en de vraagstukken die hierbij horen. Doyle heeft het over een ecologische benadering van klassenmanagement, om daarmee de complexiteit aan te geven wat er in een collegezaak of klaslokaal allemaal gebeurt. Klassenmanagement vind ik een term die niet helemaal de lading dekt van wat een docent doet. Er ontstaat al vaak een koppeling met ‘orde problemen’ en ‘moeilijke groepen’. Uiteindelijk betreft het vraagstuk hoe je een veilige leeromgeving creëert voor je studenten, met daarin een positief leerklimaat dat bijdraagt aan succesvol en opbrengstgericht onderwijs dat aansluit bij de behoeften van studenten en waar de studenten maximaal worden uitgedaagd om actief te leren. En wanneer er geen ‘orde’ is, dan ligt dat aan de leraar. Punt.
Analyseren van toetsen
De cursisten werken gedurende het BDB-traject ook aan hun BKE (Basis Kwalificatie Examinering)-opdracht. Voorafgaand aan deze bijeenkomst hebben cursisten hun zogenaamde vooronderzoek aangeboden via een workshop in de digitale omgeving in Moodle en elkaar van feedback voorzien. Ik heb vervolgens mijn feedback gegeven, mede op basis van een document waarin mijn collega’s en ik een aantal generieke opmerkingen ten aanzien van de opdracht hebben verzameld.
Het vooronderzoek betreft een opdracht waarin de studenten een toets selecteren inclusief de resultaten en deze positioneren in het ’toetslandschap’ van de opleiding: kaderstellende documenten t.a.v. toetsen, competentieprofielen, studiehandleidingen, leerlijnen, leerdoelen, etc. Cursisten omschrijven ook de typering van de toets, de rationale hierachter, hoe de type toets zich verhoudt met het bereiken van de type leerdoelen en of er sprake is van constructive alignment.
Vervolgens is het zaak dat de cursisten de toets gaan analyseren. Hiervoor zijn resultaten nodig. Eén van de cursisten had een eigen analyse van de opleiding meegenomen die te vergelijken was met het voorbeeld dat we als studiebegeleiders hadden meegenomen. Op basis hiervan konden we het gesprek aangaan over toetsanalyse. De taak betreft de o.a. de inzet van een aantal psychometrische analyses zoals de Cronbach’s alpha (een maat voor de betrouwbaarheid van de toets, de score mag niet afhankelijk zijn van toeval), de p-waarde (zegt iets over de moeilijkheidsgraad van een toetsitem) en de rit-waarde (onderscheidend vermogen van de toets-item, maakt de vraag onderscheid tussen goede en slechte studenten). De cijfers geven een indicatie over de kwaliteit van de toets.
Naast een voorbeeld van een analyse op basis van een multiple-choice toets hebben we ook een analyse besproken van een open vragen toets. Welke mogelijkheden zijn er om praktijktoetsen te analyseren? Bij dergelijke toetsen is het van belang om zaken als intra- en interbeoordelaarsbetrouwbaarheid mee te nemen. Vervolgens hebben we gesproken over beoordelaarsfouten.
Geen gemakkelijk onderdeel, maar met wat Excel-sjablonen inclusief formules komen we toch al een heel eind. Het is cijferwerk, maar als startpunt om de kwaliteit van toetsen te verbeteren.
Note to self
Ik zie bij collega-hogescholen dat de BKE-onderdelen als een online (zelf)studie pakket worden aangeboden. Daar heb ik vandaag ook over nagedacht (ja, er was nog een plekje in mijn achterhoofd over). Ons traject betreft een blend van online zelfstudie en peer-review gecombineerd met fysieke bijeenkomsten waar we de voortgang van de opdrachten bespreken. En daar horen ook de BKE-onderdelen bij. Ik begrijp onze opzet hierin, want we vinden het belangrijk om de studenten hier ondersteuning in te bieden. Het raakt ook een direct concern van de cursisten want zij hebben te maken met het beoordelen en bijstellen van toetsen tijdens de cursus.
Maar ik merk dat de krachtigste onderdelen van het traject, dat geven studenten ook aan, het met elkaar bespreken van het ontwerpen, organiseren en uitvoeren van onderwijs is. Dit ervaren ze als inspirerend, ze oefenen met zaken die gelijk in de praktijk kunnen worden toegepast. Hier liggen met name de concerns van de cursisten, logisch ook gezien hun beperkte ervaring met het verzorgen van onderwijs. En daar zou je dus meer tijd aan willen besteden, zo voel ik dat tenminste.
Door BKE-onderdelen, inclusief instructie via weblectures en online tutoring, op afstand te organiseren, creëer je tijd op de bijeenkomsten om aan andere onderwerpen te besteden. Ik pleit niet voor volledig afstandsonderwijs op dit terrein, maar we kunnen te mogelijkheden van online leren mogelijk wel beter benutten in deze. Iets om verder te bespreken met collega’s.
Ten slotte
De cursisten hebben deze dag als inspirerend en waardevol ervaren, dat kreeg ik terug. Zij krijgen hier energie van. Ik heb het ook als een waardevolle dag ervaren! De dag vloog voorbij. De kwaliteit van het gesprek met de cursisten is van een hoog niveau, de cursisten voelen elkaar ook goed aan, en zijn bereid om met en van elkaar te leren. Dan gaat het soms als vanzelf. Ik ben zo blij dat ik samen met mijn collega’s in ieder geval de basis heb gelegd voor een mooie dialoog! Die schouderklop geef ik mij zelf. En mijn collega’s.