Je zit samen met een virtuele dochter en partner aan tafel te eten. Dochterlief is in een bui en gooit geheel voorspelbaar haar glas water om. Hoe reageer jij? En kijk eens naar je reactie vanuit het gezichtspunt van je dochter. Een kind met selectief mutisme, waar een kind wel spreekt maar in bepaalde situaties niet (vaak op school), krijgt therapie in een virtuele schoolomgeving, omdat het begeleiden op school zelf niet altijd vanzelfsprekend is. Je krijgt een rondleiding in een virtuele 3D representatie van de Amsterdamse Joodse wijk Vlooienburg (nu Stopera/Waterlooplein) in 1625. Een paar voorbeelden van XR-toepassingen die getoond werden op een bijeenkomst van SURF XR on Tour, in het Visualisation Lab van de UvA waar ik bij aanwezig was. Hieronder een korte weergave van de bijeenkomst.
XR
De bijeenkomst start met een korte presentatie van Paul Melis, adviseur bij SURF op het terrein van innovatie met XR. Hij gaat kort in op het begrip XR. XR staat voor extended reality, een parapluterm voor het hele spectrum van virtual reality (VR), augmented reality (AR) en mixed reality (MR).
Met VR-technologie, via een VR-bril (head mounted device) en handheld controllers, waan je je fysiek in een compleet virtuele omgeving. Ik denk gelijk aan mijn Harry Potter Virtual Reality-ervaring die ik samen met mijn dochter beleefde in de Harry Potter Store in New York waar we vliegend op onze bezemstelen in gevecht waren met Death Eaters.
Met AR-technologie worden virtuele objecten en/of informatie als een extra laag over de werkelijkheid gelegd. Ik denk aan de Funda Layar app waar je je smartphone op een huis dat te koop staat richt, en vervolgens krijg je de Funda-informatie te zien, of de verzamelplaatjes van de Albert Heijn waar bewegende 3D-representaties van allerlei beesten verschijnen als je het plaatje met je smartphone scant. Of is dit al een voorbeeld van MR-technologie, waar virtuele content als onderdeel van de fysieke omgeving wordt gepresenteerd?
AR en MR liggen dicht bij elkaar, maar het onderscheid kan bepaald worden door het device dat gebruikt wordt en de mate van interactie die mogelijk is met de virtuele content. Bij AR maak je gebruik van een mobiele device, zoals je smartphone of tablet, bij MR een head mounteddevice zoals de Microsoft Hololens. Door middel van handgebaren, je stem of eye tracking kun je de virtuele objecten manipuleren, heb je interactie met objecten.
Paul gebruikt het McKinsey’s 3 Horizon Model en typeert XR als een ‘horizon 1-innovatie’. Centrale vraag nu is om te onderzoeken wat we kunnen doen met XR in onderzoek en onderwijs, gekoppeld aan korte termijn projecten die snel tot een opbrengst komen (1-3 jaar). Verkennen en experimenteren. Paul geeft aan dat er veel XR-initiatieven en experimenten plaats vinden in het hoger onderwijs ten behoeve van, om maar wat te noemen, vaardigheidsonderwijs, digital labs, psychologisch onderzoek, therapie, social XR en datavisualisatie.
De innovatie met XR brengt ook de nodige uitdagingen met zich mee. Paul staat stil bij privacy & data handling. Er zijn interessante VR-toepassingen in de metaverse, maar willen we onze data zomaar delen met een bedrijf als Meta/Facebook? Opschaling is een andere uitdaging. Om van een experiment naar bredere implementatie en operationeel gebruikt te gaan, vraagt ondersteuning en aanpassingen aan de infrastructuur van het instituut. Andere uitdagingen die genoemd worden zijn de kosten voor het ontwikkelen van content, de snelle ontwikkelingen op technisch gebied, het ontwikkelen en trainen van XR-vaardigheden van gebruikers. Kan content dat voor het ene device wordt ontwikkeld ook gebruikt kan worden met een ander device. Dat is nu niet mogelijk, of een en ander moet beperkt blijven tot desktop VR (via een browser).
UvA Visualisation Lab
Robert Belleman geeft vervolgens een kort overzicht van een aantal XR-projecten die zijn ontwikkeld in het Visualisation Lab van de UvA. De XR-projecten zijn uitgevoerd door studenten van bachelor- en masterprogramma’s die vanuit het Lab georganiseerd worden, gekoppeld aan interne- en externe opdrachtgevers.
- Viewing Transformations. Een VR-app die studenten ondersteund in het leren over de ‘viewing pipeline’, een begrip uit de wereld van computer graphics, en waar de student virtueel ‘viewing transformations’ kan toepassen om te zien wat de effecten daarvan zijn.
- Mind Mindedness. Een VR-toepassing waar je als ouder geconfronteerd wordt met je eigen opmerkingen om daarmee mind mindedness te ontwikkelen;
- Selective Mutism. Een virtuele therapieomgeving om kinderen met selectief mutisme te begeleiden;
- MiCRopVR. Een serious game ontwikkeld voor biologieonderwijs in het VO, waar leerlingen inzicht ontwikkelen in de impact van fosfaten op de ontwikkeling van planten, en de omgeving;
- 360-Composer. Een toepassing gericht op het ontwikkelen van non-lineaire verhaallijnen in 360-graden videos. Specifiek ontwikkeld voor parent-child interaction therapy, de gebruiker bekijkt een stukje video en krijgt vervolgens keuzes.
Virtual Past Places
Jitte Waagen is coordinator van het 4D Research Lab van de UvA, van de Faculteit der Geesteswetenschappen. Het Lab richt zich op het ontwikkelen van 3D-omgevingen ten behoeve van archeologisch onderzoek. De 4e ‘D’ staat dus voor de verleden tijd. Jitte benoemt de voordelen van VR met behulp van het D.I.C.E.-principe. Je kunt de mogelijkheden van VR benutten om situaties te simuleren die Dangerous, Impossible, Counterproductive en Expensive zijn.
Centraal in de presentatie van Jitte staat het project Virtual Past Places. Een initiatief dat mede is ontstaan als gevolg van online onderwijs tijdens de pandemie. Het betreft een onderzoeksproject waar VR-omgevingen, zoals een weergave van een archeologische opgraving in Rome, of een virtuele wijk Vlooienburg in 1625, ontwikkeld worden die studenten online kunnen benaderen. Het onderzoek richt zich op het ontwerpen, uitvoeren en evalueren van VR-onderdelen in bestaande onderwijseenheden. De omgevingen worden ontwikkeld met Mozilla Hubs, een toepassing waarmee je virtuele 3D-omgevingen kunt ontwikkelen, en waarin je met anderen kunt samenwerken. Low level entry VR.
Ten slotte
Na de presentaties kregen we de mogelijkheid om in het Visualisation Lab te experimenteren met een aantal van de besproken toepassingen. Het gebeurt mij niet iedere dag dat ik een VR-bril opzet, en ik was ook wel aan het stoeien met de controllers. Ik was onder de indruk van de snelheid waarmee ik zo’n wereld in werd gezogen, en minder bewust werd van de fysieke omgeving om mij heen. Dat zullen studenten en docenten die dit voor het eerst doen ook ervaren. Een onboarding fase plannen waarmee je gebruikers leert omgaan met de techniek en laat wennen aan de immersieve ervaring is echt belangrijk realiseer ik mij.
Ik sprak ook met onderzoeker John Walker, hij stelde mij een aantal vragen over het toepassen van VR in een onderwijssetting. Wij hadden het over het belang om VR goed in te bedden in het leerproces. Een immersieve ervaring in een VR-omgeving kan de betrokkenheid van studenten bij het leerproces en hun motivatie stimuleren. Door de ontwikkelingen van XR-technologie ontstaan er steeds meer mogelijkheden om vaardigheidsonderwijs te ondersteunen, en gesimuleerde omgevingen te ontwerpen waar studenten veilig kunnen oefenen met het leren toepassen van vaardigheden in een veilige setting, omdat het niet altijd goed mogelijk is omdat in de werkelijkheid te doen. Maar zoals Paul aangaf in het begin van de bijeenkomst, er zijn ook nog veel uitdagingen. En één van de uitdagingen zal ook zijn om te kijken hoe de inzet van XR het leren bevordert, maar ook kan belemmeren. Ik denk bijvoorbeeld aan de principes van cognitieve belasting en de multimedia-theorie. Dat vraagt een beredeneerd ontwerp en inzet van XR.
Maar wel supergaaf! Ook om te kijken welke experimenten met XR op mijn hogeschool worden gedaan, en hoe we hiermee vaardighedenonderwijs kunnen versterken.