Ik werk deze week aan een ontwerpgericht onderzoek, snuffelde door mijn aantekeningen/bronnen en vond mijn ‘live notes’ van een expertsessie masteropleiding Leren & Innoveren met Nienke Nieveen over dit onderwerp, november 2013 alweer. Niet echt een blogpost, daarom gepubliceerd op een Tumblr-blog. Maar dit ‘kladblog’ gebruik ik eigenlijk niet meer, en de bijdrage past prima op deze plek, vandaar een repost.
De rol van evaluatie bij het ontwerpen van leerprocessen.
Hoe komen we erachter of de onderwijsproducten die wij ontwerpen ook kwalitatief in orde zijn? Door middel van een cyclische aanpak de kwaliteit evalueren.
Leraren binnen NLs onderwijs hebben relatief veel ruimte om zelf invulling te geven aan het onderwijs.
Nieveen heeft de wens om de ontwerpkennis meer de lerarenopleiding in te krijgen.
Ontwerpen van leerprocessen via een prototype benadering
– Plan for learning (Hilda Taba) = leerplan = curriculum
– Curriculumontwikkeling = leerplanontwikkeling
De drie ‘s’-en: subject, society, student
Onderdelen van een leerplan: curriculaire spinnenweb
Hoe kijk ik tegen het leren aan? Welke keuzes moet ik maken? Argumentatie mbv spinnenweb. Docenten in NL kunnen veel keuzes zelf maken [het hoe van het onderwijs] waarbij in andere landen veel meer op macro-niveau is vastgesteld.
Ontwerpbenaderingen
- Instrumentele benadering
- Communicatieve benadering
- Artistieke benadering
- Prototyping benadering
Welke benadering past bij jou als ontwikkelaar het beste?
Bij de laatste benadering is er sprake van een cyclisch proces. Regelmatig overleg met o.a. gebruikers. Een goed leerplan is dan een leerplan dat voldoet aan eisen van de gebruikers.
Deze laatste benadering gaat over bruikbaarheidsvragen, testen in de praktijk, niet alleen of een ontwerp voldoet aan vooropgestelde eisen.
Sommige ontwerpen wil je of moet je gelijk toepassen in het onderwijs. Je kan ook onderdelen van dit ontwerp, waar je specifiek in geïnteresseerd bent, onderwerpen aan een prototyping benadering. Er is wel een risico.
Kenmerken:
1. Uitgebreid gebruik van prototypes [= conceptversie van een product]
– ‘throw-away’-prototypes: laat implicaties van ontwerpbeslissingen zien
– ‘evolutionary’-prototypes: wordt doorgewerkt tot eindproduct gereed is
– horizontaal prototype – geeft globaal beeld van het eindproduct.
– verticaal prototype – gedetailleerde uitwerking van (onderdelen) van het eindproduct.
2. Cyclisch proces met gebruik van prototypes
– Ieder prototype representeert de evolutie in het denken over het eindproduct.
– Formatieve evaluatie [tijdens het proces verzamel je feedback over het proces] is cruciaal in een prototypingproces met als doel om betrokkenen zicht te geven op de mogelijkheden van het ontwerp en de vormkenmerken van het ontwerp, de concrete dialoog over deze functies en vorm te verbeteren en ontwikkelaars helpen bij het aanscherpen van onderliggende ontwerpprincipes.
To improve = formatieve evaluatie
To prove = summatieve evaluatie
3. Deelname van afvaardiging van de doelgroep
Representanten van de werkelijke gebruikersgroep
User-centered approach: intensievere discussies over de producteisen [welk probleem dienen we op te lossen?], betere mogelijkheden om ontwerpideeen te bespreken, vergroot draagvlak onder gebruikers, voorkomt dat ontwikkelaars ‘design for themselves’.
Om minimaal twee resultaten te bereiken:
1. Kwalitatief hoogwaardige producten. Kwaliteit is een containerbegrip: wat is dat precies?
Kwaliteitsaspecten:
– Relevant: voorziet het in een behoefte, is het gebaseerd op recente inzichten [probeer aan te sluiten bij het gene wat wij al weten]
– Consistent: logische opbouw [denk aan het spinnenweb], is er sprake van constructive alignment?
– Praktisch bruikbaar: is het bruikbaar in de onderwijspraktijk
– Effectief: werken met het ontwerp leidt tot de gewenste resultaten.
Niet te snel uitspraken doen over ‘effecten’. Vaak worden de eerste drie aspecten vrij snel doorlopen, om gelijk te kijken naar de effectiviteit. Echter dit vraagstuk is nog niet zo relevant als je niet goed hebt nagedacht over de andere kwaliteitsaspecten. Geef deze aandacht gedurende het proces, zodat je ook effecten mag verwachten.
2. Onderliggende ontwerpprincipes
– Als je interventie X wilt ontwerpen voor doel/functie Y in context Z.
– Dan wordt aanbevolen om de interventie de kenmerken C1, C2, C3…. te geven.
– En dat te doen via de procedure P1, P2, P3…, vanwege de theoretische argumenten T1, T2, T3… en empirische argumenten E1, E2, E3….
Als, dan, wat
Van prototyping naar ontwerponderzoek
Opbrengst is:
1. Hoogwaardige oplossing voor een complex probleem (waarvoor nog geen oplossing voor bestaat)
2. Inzicht in onderliggende ontwerpprincipes.
Veel overlap met prototypebenadering, wat prominentere rol van onderzoeksactiviteiten:
– vooronderzoek: systematische analyse probleen, context, doelgroep
– theoretische inbedding: systematische toepassing van kennis in ontwerpkeuzes.
– empirisch onderzoek: systematisch geplande en uitgevoerde evaluaties voor het stapelen van bewijs van kwaliteit
– documenteren, analyse, reflectie
Ontwerpstadia: van prototypes van interventies [formatief] naar uitgerijpte interventies [summatief]
Eerdere ontwerpstadia: op zoek naar indicaties voor effectiviteit.
Latere ontwerpstadia: summatieve evaluatie alleen via extern onderzoek als er sprake is van doorontwikkelde interventies, met als uitdaging causale relaties vast te stellen.
Implicaties voor onderzoek bij leerplanontwikkeling
Trendanalyse – curriculair ontwerponderzoek – implementatie en opschaling
Onderzoek informeert en voedt leerplanontwikkelwerk.
Mogelijke instrumenten voor formatieve evaluatie [je wilt gevoed worden vanuit de praktijk]
– In beginfase
screening – voldoet het aan de eisen
focusgroep – bespreek met betrokkenen en/of experts
– In latere fase: verwachte bruikbaarheid en werkelijke bruikbaarheid zichtbaar maken.
focusgroep
walkthrough
micro-evaluatie
try-out
Combineer op een horizontale lijn een ontwikkelfase (1) met een kwaliteitsaspect (2) en kom tot een evaluatiemethode (4) met daarbij behorende activiteiten (5).
Links
http://leerplanevaluatie.slo.nl/
http://international.slo.nl/edr/
http://www.slo.nl/downloads/2009/leerplan-in-ontwikkeling.pdf/