Onderzoeksrapport Learning Analytics - Bewijsgestuurd

Cursusontwerp
Meeloopstage
Smart Education Lab
Lectoraat Didactiek van de Bètavakken
Project Onderwijsdata

27-06-2022

Auteur: Majdouline Hamdi

Studentnummer: 500801662
Opleiding: HBO-ICT, Business IT & Management
Leerjaar: 3
Opleidingsjaar: 2021-2022

Versienummer: 1.5
Inhoudsopgave

Samenvatting 2

1. Inleiding 4
1.1 De aanleiding en context 4

1.2 De hoofdvraag 4

1.1.1 De deelvragen 4

1.3 Het doel en de scope 5

1.4 Methoden 5

2. Leerobjecten binnen de DLO omgeving van de HvA 6

2.1 DLO 6

2.2 Leerobjecten 6

3. Inbreng van docenten 8

3.1 Inbreng leerobjecten vanuit docenten 8

3.1.1 Announcements 9

3.1.2 Contents 9

3.1.3 Rubrics 10

3.1.4 Calendar 11

3.1.5 In-line feedback 12

3.1.6 Surveys 12

3.1.7 Feedbackfruits 13

4. Verbetering cursusontwerp middels Power BI dashboards 13

4.1 Business Intelligence tools 14

4.1.1 Power BI 14

4.1.2 Tableau 15

4.1.3 Qlik 15

4.1.4 Domo 15

4.2 BI-dashboards en het effect op het cursusontwerp 16

4.3 Ontwerpvereisten van de dashboard 16

4.3.1 Problemen en kansen 16

4.3.2 Gegevens- en taakabstractie 17

4.4 Effectieve Learning Analytics dashboards 18

4.4.1 A: Navi Badgeboard 18

4.4.2 B: Navi Surface 19

1
4.4.3 C: Class View-dashboard 19

4.4.4 D: Het LARAe-dashboard 19

4.4.5 E: Het LARAe.TT-dashboard 20

5. Data uit Power BI dashboard voor verbetering curusontwerp 21

5.1 Hypotheses 21

5.2 Feedback wel/niet gelezen 21

5.2.1 T-Test resultaten 23

5.3 Inlevermoment ten opzichte van inleverdatum 23

6. Aandachtspunten cursusontwerp 24

7. Conclusie 27

Bronnenlijst 29

Bijlage A: Interview met docent Information Security 30

Samenvatting
Dit is het onderzoeksrapport Learning Analytics Bewijsgestuurd Cursusontwerp, geschreven voor
het Lectoraat Didactiek van de Bètavakken, Faculteit Onderwijs en Opvoeding aan de Hogeschool
van Amsterdam (HvA).
Dit onderzoeksrapport is opgesteld in opdracht van de verplichte derdejaars meeloopstage van de
opleiding HBO-ICT, richting Business IT & Management aan de Hogeschool van Amsterdam.

Aangezien er middels data analytics onderzoek is gedaan en de methoden, werkwijzen en resultaten

hiervan in dit document zijn vastgelegd, toont dit onderzoeksrapport de hbo-bachelor competentie
“onderzoekend vermogen” aan, wat een essentieel onderdeel van de meeloopstage is.

Dit rapport bevat verschillende onderzoeksmethoden, namelijk een analytische onderzoeksmethode,

een semi-gestructureerd interview en een literatuuronderzoek.

De hoofdvraag van dit onderzoeksrapport is: “Hoe kunnen docenten middels Power BI
dashboards inzicht krijgen in het gebruik van leerobjecten op de Digitale Leeromgeving
(DLO), om hun cursusontwerp te verbeteren?”

Deze hoofdvraag kent vier ondersteunende deelvragen:

1. Hoe kunnen Learning Analytics dashboards helpen bij het verbeteren van het
cursusontwerp?
2. Welke inzichten biedt het gebruik van een Power BI dashboard aan docenten om hun
cursusontwerp te verbeteren?

2
 3. Welke type leerobjecten kent de Digitale Leeromgeving?
4. Hoe maken HvA docenten gebruik van leerobjecten op de Digitale Leeromgeving?

De eerste deelvraag wordt beantwoord in hoofdstuk 2, waarbij er algemene kennis wordt gegeven
vanuit literatuuronderzoek over het verbeteren van het cursusontwerp middels Learning Analytics
dashboards. Er zijn slechts betrouwbare bronnen vanuit de Google Scholar omgeving geraadpleegd.
De volgende keywords zijn gebruikt:
● Course design in higher education
● Effective course design
● Usability and usefulness of dashboards
● Dashboard design guidelines
● A teacher facing learning analytics dashboards
● Creating effective learning analytics dashboards

De resultaten uit dit onderzoek tonen aan dat Learning Analytics dashboards aan de volgende
punten moeten voldoen: of een student toegang heeft tot een course, of een student toegang heeft tot
een leermiddel, of een student een bericht heeft gestuurd, of een bericht is gelezen, of een forum is
geopend, of de student geabonneerd is op het ontvangen van forum-updates, of een student iets in
een forum plaats, of een opdracht is gevisualiseerd, of er poging is gedaan tot het oplossen van een
opdracht, of een opdracht is ingeleverd en of een leermiddel is gedownload.

De tweede deelvraag wordt beantwoord in hoofdstuk 3, waarbij er specifieke inzichten vanuit de

data uit de Power BI dashboards wordt gebruikt om het cursusontwerp te kunnen verbeteren. De
volgende analyses zijn uitgevoerd:
- Het verschil in cijfers bij studenten die wel en geen feedback lezen. Resultaat: studenten die
hun feedback lezen haalden gemiddeld hogere cijfers.
- Het verschil in cijfers bij studenten die hun opdrachten voor en na het uiterste
inlevermoment (due date op DLO) inleveren. Resultaat: studenten die hun opdrachten voor
de due date inleverden haalden gemiddeld hogere cijfers.

De derde deelvraag wordt beantwoord in hoofdstuk 4, waarin een lijst van alle leerobjecten uit de
DLO omgeving wordt weergegeven. De DLO is een digitale leeromgeving die gebruikt wordt door
studenten en docenten van de HvA, waar systemen en applicaties samenwerken om het studeren te
ondersteunen.

De vierde deelvraag wordt beantwoord aan de hand van een semi-gestructureerd interview (Bijlage
A, 2022), waarbij de volgende resultaten naar voren kwamen: docenten maken het vaakst gebruik
van de leerobjecten (in-line) feedback, content, calendar, rubrics, feedbackfruits en surveys.

3
 1. Inleiding
Online onderwijs is steeds populairder aan het worden. Hierdoor hebben docenten minder inzicht in
wat hun leerlingen doen, iets wat in de klas wel mogelijk is. In de klas is het duidelijk of ze er zijn,
of ze betrokken zijn en of ze hun taken hebben volbracht. Dit overzicht is zelden te vinden in online
onderwijs omgevingen. Dit vormt een obstakel, omdat het van essentieel belang is dat alle docenten
hun leerlingen goed kunnen begeleiden. Het gebruik van data in het onderwijs kan hier een
oplossing bieden. De verzamelnaam hiervoor is learning analytics. Learning analytics is het
verzamelen, analyseren en rapporteren van gegevens van studenten of docenten en hun omgeving
om het onderwijs en de omgeving waarin het plaatsvindt te begrijpen en te verbeteren (Van Trigt,
2019).

Binnen het Nederlandse hoger onderwijs is er de afgelopen jaren veel kennis opgedaan over de
mogelijkheid om data in te zetten voor de algemene verbetering van het onderwijs. Sommige van
deze inzichten zijn de directe resultaten van learning analytics-experimenten en onderzoeken (Van
Trigt, 2019).

Learning Analytics kan worden gebruikt voor meerdere doelen. In dit onderzoeksrapport wordt de
focus vooral gelegd op het verbeteren van het cursusontwerp.

1.1 De aanleiding en context

Sinds de toename van online onderwijs en het gebruik van de Digitale Leeromgeving (DLO),
hebben docenten steeds minder overzicht op het leergedrag van hun studenten. Docenten leunen
hierdoor steeds meer op de gegevens die uit online leeromgevingen afkomstig zijn.

Het project Evidence Based Course Design (EBCD), ook wel Bewijsgestuurd Cursusontwerp
genoemd, vindt plaats binnen het programma Smart Education van de faculteit Onderwijs en
Opvoeding. Bewijsgestuurd Cursusontwerp omvat het verbeteren van het (online) onderwijs op
basis van analyse van bruikbare onderwijsdata vanuit de digitale leeromgeving. Dit project valt
enerzijds onder Smart Education en anderzijds onder het HvA-brede project Onderwijsdata.
1.2 De hoofdvraag
De hoofdvraag van dit onderzoeksrapport luidt als volgt:

“Hoe kunnen docenten middels Power BI dashboards inzicht krijgen in het gebruik van
leerobjecten op de Digitale Leeromgeving (DLO), om hun cursusontwerp te verbeteren?”

1.1.1 De deelvragen
Om antwoord te geven op de hoofdvraag, zijn er drie deelvragen geformuleerd:
1. Welke type leerobjecten kent de Digitale Leeromgeving van de HvA?
2. Hoe maken HvA docenten gebruik van leerobjecten op de Digitale Leeromgeving?
3. Hoe kunnen Learning Analytics dashboards helpen bij het verbeteren van het
cursusontwerp?
4. Welke inzichten biedt het gebruik van een Power BI dashboard aan docenten om hun
cursusontwerp te verbeteren?

4
1.3 Het doel en de scope
Voor de stage is het de bedoeling dat de bovengenoemde data binnen het context van de Digitale
Leeromgeving geanalyseerd en gerapporteerd worden, met het oog op het geven van voorstellen
over het verbeteren van de cursusontwerpen.

De beoogde doelgroep van dit stageproject zijn de docenten van de Hogeschool van Amsterdam. De
gebruikte onderwijsdata kunnen ook nuttig zijn voor studenten, maar in dit project is de focus
vooral op de docenten gericht.

1.4 Methoden
Er is gekozen voor een semi-gestructureerd interview waarbij de geïnterviewde alle vrijheid kreeg
om de vragen op flexibele wijze te beantwoorden. De interviewvragen waren voor een deel vooraf
bepaald, maar niet op volgorde gesteld. Op basis van de antwoorden van de respondent werden
bepaalde vragen ter plekke bedacht en gesteld. Deze methode is gebruikt om de eerste deelvraag te
beantwoorden, zie hoofdstuk 3.

Er is literatuuronderzoek gedaan, waarbij betrouwbare bronnen zijn geraadpleegd via Google

Scholar. De literatuuronderzoek ging over BI dashboards, Learning Analytics en de verbetering van
het cursusontwerp binnen het hoger onderwijs. Deze methode is gebruikt om de tweede deelvraag
te beantwoorden, zie hoofdstuk 4.

Er is ontwerpgericht onderzoek gedaan middels data analytics. Hierbij zijn (ruwe) datasets omgezet
in grafieken en de bevindingen zijn vergeleken met de hypotheses. Vervolgens is er onderzoek
gedaan naar waarom de resultaten wel of niet overeenkomen en tot slot zijn er conclusies getrokken
op basis van de resultaten. De data analyse is gedaan middels de datavisualisatie “software tool”
Microsoft Power BI. Voordat de analyse werd gedaan, zijn er een aantal hypotheses opgesteld. Deze
methode is gebruikt om de derde deelvraag te beantwoorden, zie hoofdstuk 5.
Tijdens de meeloopstage is er gebruik gemaakt van de Kanban managementmethode. Kanban is een
visuele managementmethode die wordt gebruikt om het werk te volgen terwijl het zich vordert. Een
kanban bord toont het proces (workflow) aan en het daadwerkelijke werk dat plaatsvindt. Het doel
van Kanban is om mogelijke obstakels in het proces te identificeren en weg te nemen, zodat het
werk in een efficiënt tempo verloopt (Digite, 2021).

Tot slot waren er tijdens de stage wekelijkse vergaderingen met collega’s van het EBCD waarin de
voortgang met de stagebegeleider(s) besproken werd en met de docentbegeleider waarbij de
voortgang van het onderzoeksrapport en het portfolio werden besproken.

De structuur van dit rapport is als volgt: Hoofdstuk 2 geeft algemene inzichten over de verbetering
van het cursusontwerp, hoofdstuk 3 bevat specifieke inhoud over het verbeteren van de
cursusontwerp middels de onderwijsdata uit de Power BI omgeving. Verder beschrijft hoofdstuk 4
de leerobjecten binnen de DLO omgeving. In hoofdstuk 5 wordt de inbreng van leerobjecten door
docenten behandeld, op basis van de antwoorden uit een semi-gestructureerde interview. Ook is er
een conclusie getrokken in hoofdstuk 6.

5
 2. Leerobjecten binnen de DLO omgeving van de HvA
In dit hoofdstuk wordt de eerste deelvraag uitgewerkt, namelijk “Welke type leerobjecten kent de
DLO van de HvA?” waarbij wordt uitgelegd wat er wordt bedoeld met de DLO, welke
leerobjecten de DLO kent en welke leerobjecten geanalyseerd zijn ten behoeve van de
stageopdracht.

2.1 DLO
De behoeften van studenten en docenten veranderen voortdurend als het gaat om het gebruik van
digitale leermiddelen. Volgens Surf is DLO simpelweg een digitale leeromgeving waar systemen en
applicaties samenwerken om het studeren te ondersteunen. Zowel studenten als docenten maken
gebruik van de DLO om onderwijsactiviteiten digitaal mogelijk te maken, zoals de communicatie
tussen docent en student of tussen studenten onderling, het beschikbaar stellen van
informatiestukken en organiseren van het onderwijs (Surf, 2022). Het hart van de DLO, het
Learning Management System LMS, bij de HvA wordt gevormd door het wereldwijd gebruikte
cloud-platform Brightspace van de wereldwijd bekende Brightspace (Digitale toegankelijkheid (en
Brightspace) | ICTO bij FOO, z.d.).

2.2 Leerobjecten
De DLO heeft de volgende type leerobjecten, die afhankelijk van welke opleiding er genoten wordt
en het niveau van de studenten, optimaal ingezet kunnen worden om de studie behoeften te
vervullen:

● Accommodations
● Activity Feed
● Announcements
● Assignments
● Awards
● Calendar
● Checklist
● Competency
● Content
● Course - copy & publisher
● Discussions ● Exemptions
● Feedback
● Grades
● Intelligent Agents
● LTI
● Organizational Units
● Outcomes

6
 ● Portfolio
● Questions
● Quizzes
● Release Conditions
● Role Details
● Rubrics
● Session and System Access
● Surveys
● Tools
● Users
● Virtual Classroom

Tijdens dit project zijn de volgende leerobjecten geanalyseerd: Assignments, Feedback en Grades.

7
 3. Inbreng van docenten
In dit hoofdstuk zal de tweede deelvraag worden beantwoord: “Hoe maken HvA docenten gebruik
van leerobjecten op de DLO?” Dit hoofdstuk zal onder anderen ondersteund worden door de
antwoorden vanuit het semi-gestructureerde interview, zie Bijlage A.

3.1 Inbreng leerobjecten vanuit docenten

Op de DLO kunnen leerobjecten worden ingezet om de studiebehoeften van studenten tegemoet te
komen. Ook worden de leerobjecten ingezet om het lesgeven op zodanige manier vorm te geven dat
de studententevredenheid en studieresultaten stijgen. In hoofdstuk 2 is er een lijst met alle
mogelijke leerobjecten die Brightspace kent weergegeven .

Docenten maken vooral gebruik van de volgende leerobjecten binnen de DLO:

● Announcements
● Contents
● Rubrics
● Calendar
● (In-line) Feedback
● Surveys
● Feedbackfruits

8
3.1.1 Announcements
De Announcements worden gebruikt om studenten, voordat zij de inhoud van de DLO
daadwerkelijk openen, van belangrijk nieuws te voorzien. In de Announcements worden onder
anderen deadlines, herkansingen en andere nuttige informatie over de vakken gedeeld (Bijlage A,
2022).

Figuur 1: Announcements, Brightspace

3.1.2 Contents
Binnen de Content functie kan er veel inhoudelijke informatie gedeeld worden met studenten. Denk
aan het delen video’s over de lesstof, het aanmaken van andere leerobjecten zoals Feedbackfruits,
studiehandleidingen, pdf files over de lesstof, weekmodules die kunnen worden gestructureerd om
per week nieuwe informatie te ontgrendelen voor studenten. Dit leidt ertoe dat studenten
stapsgewijs kennis kunnen opdoen over de leerstof.

9
Figuur 2: Contents, Brightspace

3.1.3 Rubrics
Rubrics zijn ontworpen om studenten te voorzien van de vereisten of criteria van een specifieke
huiswerkopdracht (assignment) die digitaal ingeleverd moeten worden (Bijlage A, 2022).

10
Figuur 3: Rubric voorbeeld, Brightspace

Het is met Rubrics mogelijk om:

● Eerder gemaakte Rubrics via Course Copy te kopiëren.
● Rubrics zichtbaar te maken voor studenten.
● Elk afzonderlijk criterium en level binnen de rubric van feedback te voorzien. ● Rubrics
aan losstaande Grade Items te koppelen.
(Rubrics (Brightspace), z.d.)
3.1.4 Calendar
Het communiceren van due dates en deadlines met studenten is een belangrijk onderdeel van elke
course (vak). Dit kan op verschillende manieren worden geautomatiseerd. Rechts onderaan het
beginscherm van de DLO worden de kalender punten op volgorde onder elkaar gezet (Brightspace
Support, 2022).

Figuur 4: Calendar, Brightspace

11
 Figuur 5: Content, Brightspace

3.1.5 In-line feedback

De rubrics die in subsectie 3.1.4 werden besproken, kunnen beoordeeld worden. Dit wordt gedaan
door de In-line feedback optie in te schakelen. Studenten kunnen hun feedback lezen en aan de
hand daarvan hun werk eventueel verbeteren. Ook wordt er weergegeven of de feedback wel of niet
is gelezen door studenten (Bijlage A, 2022).

Figuur 6: In-line feedback, Brightspace

3.1.6 Surveys
De Surveys worden gecreëerd door docenten die graag een inkijk op de studententevredenheid
willen hebben. Met de antwoorden uit de digitale enquête kan een dashboard worden opgesteld en
de grafieken kunnen elke week worden vergeleken met de voorafgaande week. Aan de hand van de
antwoorden die in het dashboard te zien zijn, kunnen de courses op maat worden ontworpen. Zo
kunnen studenten invullen wat zij liever terugzien in de courses of welk project zij het liefst willen
volgen aan de hand van hun eigen kennisachtergrond (Bijlage A, 2022).

12
Figuur 7: Surveys, Brightspace

3.1.7 Feedbackfruits
De Feedbackfruits (die van een externe leverancier afkomstig is) worden gebruikt zodat studenten
elkaar feedback kunnen geven. Hiermee leren studenten de vaardigheden van het geven en
ontvangen van feedback en tegelijkertijd wordt hiermee de verwachting geschept dat het huiswerk
tijdig wordt gemaakt (Bijlage A, 2022).

Figuur 8: Feedbackfruits, Brightspace

4. Verbetering cursusontwerp middels Power BI dashboards

In dit hoofdstuk zal de derde deelvraag worden beantwoord, namelijk: “Hoe kunnen Learning
Analytics dashboards helpen bij het verbeteren van het cursusontwerp?” door gebruik te
maken van bronnen uit het literatuuronderzoek.

De volgende keywords zijn gebruikt voor het literatuuronderzoek op Google Scholar:

● Course design in higher education
● Effective course design
● Usability and usefulness of dashboards
● Dashboard design guidelines
● A teacher facing learning analytics dashboards
● Creating effective learning analytics dashboards

13
4.1 Business Intelligence tools
In deze sectie zullen vier belangrijke Business Intelligence (BI) tools behandeld worden en zal de
reden voor de keuze van Microsoft Power BI gemotiveerd worden. Voordat de vier belangrijkste
BI-tools behandeld worden, is het belangrijk om te begrijpen waarom deze tools een organisatie
zoals de HvA kunnen helpen.

BI is onderdeel van data-analyse. BI gebruikt data om organisaties slimmere beslissingen te laten

nemen op basis van resultaten uit het verleden. Vanwege deze focus op het verleden wordt business
intelligence vaak “beschrijvende analyse” genoemd, omdat het beschrijft wat er al in de organisatie
is gebeurd.

Het belangrijkste voordeel van BI-tools is dat de gegevens samengevoegd worden in een centraal
visueel dashboard. Bedrijven kunnen deze dashboards rapporten en delen met hun
managementteams.

Veel BI-tools van tegenwoordig hebben hun eigen (visuele) basis dashboards aangesterkt en
uitgebreid met voorspellende analysefuncties. Voorspellende analysefuncties voorspellen
toekomstige situaties van ondernemingen op basis van gebeurtenissen uit het verleden en
kunstmatige intelligentie (P. Goel, 2020).
4.1.1 Power BI
Power BI heeft de wereld van Business Intelligence, datavisualisatie en analyse volledig veroverd.
Power BI is een online service waarmee gegevens (data) onderzocht, getransformeerd,
opgeschoond en gevisualiseerd kunnen worden. De ontwikkelde rapporten en dashboards kunnen
ook gedeeld worden met andere gebruikers in dezelfde of in andere organisatie(s). In 2017 maakten
meer dan 200.000 organisaties gebruik van Power BI, verspreid over 205 landen (Krishnan, 2017).

Power BI bevat gratis tools met voldoende functies en functionaliteiten. Het is daarom een grote
kanshebber geworden wanneer het aankomt op business intelligence platformen (Krishnan, 2017).

Verder is Power BI voor haast iedereen toegankelijk en gebruiksvriendelijk: het is voor Power BI
geen vereiste om technische ervaring te hebben. Dit maakt het voor iedereen, zoals docenten en
andere medewerkers zonder programmeerervaring, mogelijk om data in te zetten in visuele
dashboards. Een Power BI expert is handig, maar niet nodig. Ook kent Power BI ingebouwde ETL
(Extract, Transform en Load) functies. ETL is een data-integratieproces dat gegevens uit meerdere
gegevensbronnen combineert in een enkele, consistente gegevensopslag die in een datawarehouse
of een ander systeem wordt geladen (IBM Cloud Education 2020).

Andere voordelen zijn de ingebouwde AI (kunstmatige intelligentie) functies, de lagere kosten ten
opzichte van andere BI-tools, mobiele applicaties voor iOS, Windows en Android, flexibele
inzichten, de ondersteuning van programmeertalen R en Python en het feit dat Power BI beter
integreert binnen Microsoft ecosystemen.

Tot slot kan data uit Excel, Teams, SharePoint en andere SaaS integraties op simpele wijze
geïmporteerd worden in Power BI (P. Goel, 2020).

14
4.1.2 Tableau
Net zoals Power BI zet Tableau data om in nuttige en bruikbare inzichten die de HvA in de
toekomst kunnen helpen. Tableau bevat een functie voor het maken van ad-hoc analyses en het
visualiseren van dashboards.

Tableau is over het algemeen gebruiksvriendelijk en heeft sterke visualisatie functies. Andere
voordelen van Tableau zijn de simpel-te-gebruiken “drag and drop” producten, de ondersteuning
van programmeertalen R en Python, integraties met spreadsheets, databases, cloud services en
Hadoop. Daarnaast kunnen dashboards makkelijk gedeeld worden via het web of mobiel.

In tegenstelling tot Power BI kent Tableau geen ingebouwde ETL functies waardoor Tableau minder
dynamisch is wanneer het aankomt op gegevenstransformatie. Ook kent Tableau alleen reportage
functies. Dit maakt deze BI-tool beperkt (P. Goel, 2020).

4.1.3 Qlik
QlikView is een klassieke BI-oplossing die bedrijven en organisaties een visueel dashboard biedt
om hun gegevens te kunnen bekijken. Qlik Sense is een cloudgebaseerde oplossing die “machine-
learning” intelligentie gebruikt om de kwaliteit van gegevensanalyse te verbeteren. De AI-
mogelijkheden van Qlik zijn zowel voorspellend als beschrijvend. Deze AI-mogelijkheden leren op
basis van gebruikersactiviteit om inzichten en oplossingen te bieden.

Andere voordelen van deze BI-tool zijn: interactieve dashboards, API toegang, “cloud-based” in
plaats van lokaal geïnstalleerd, mobiele toegang, de mogelijkheid om dashboards te delen en te
exporteren in Excel, PDF of afbeelding “files” en grafiek suggesties gebaseerd op de data.

Echter, Qlik bevat een zwakkere klantenondersteuning model voor diens huidige klanten.
Aangezien sommige functies een steile leercurve hebben, maakt dit het lastiger voor onervaren
gebruikers (zoals, in dit geval, docenten en andere HvA medewerkers) (P. Goel, 2020).

4.1.4 Domo
Met Domo is het mogelijk om gegevens uit meer dan 1.000 verschillende bronnen te integreren.
Organisaties kunnen, net zoals bij de bovengenoemde BI-tools, deze gegevensbronnen omzetten in
workflows en applicaties om de besluitvorming te verbeteren.

Domo bevat functies zoals: meer dan 150 verschillende typen gegevensgrafieken, iOS en Android
apps, API, SSO en Connector integraties, de mogelijkheid om data te exporteren in CSV en XLSX
documenten, Custom Data Encryptie, kan verbinden met cloudopslag (zoals AWS, Azure, Google
Cloud, Box etc.). Ook bevat Domo een uitgebreide ETL functie.

In tegenstelling tot Power BI, vinden veel Domo klanten het moeilijk om deze BI-tool te gebruiken
zonder hulp (P. Goel, 2020).

15
4.2 BI-dashboards en het effect op het cursusontwerp

Bij online lesgeven hebben docenten constante feedback nodig over hun vorderingen en
studiebehoeften van studenten. Learning Analytics Dashboards voor procesgerichte feedback
kunnen hiervoor een waardevol hulpmiddel zijn om dit doel te bereiken. Er zijn echter maar weinig
van dit type dashboards voorgesteld in de literatuur en de meeste van hen missen empirische
validatie of basis in leertheorieën (Dourado et al., 2021).

Er zijn echter maar weinig dashboards van dit type voorgesteld in de literatuur en de meeste van
hen missen empirische validatie op basis in leermodellen. Een docentgericht dashboard voor
procesgericht online leren is gepresenteerd, mede ontworpen en geëvalueerd via een iteratief proces
waarbij docenten en experts in visualisatie betrokken zijn.
Er is ook gereflecteerd op het ontwerpproces door de uitdagingen, valkuilen en succesvolle
strategieën te bespreken voor het bouwen van dit type dashboard (Dourado et al., 2021).

Er is een ontwerpmethode opgesteld die de “ontwerpactiviteiten kader” voor visualisatie-ontwerp

volgt (zie figuur 9). Deze methode stelt een iteratief proces voor dat bestaat uit vier activiteiten:
begrijpen, bedenken, maken en implementeren (Dourado et al., 2021).

Figuur 9: De twee iteraties van de ontwerpmethode. De instrumenten zijn geclassificeerd als generatief
(genereren van ideeën/artefacten) en evaluatief (beoordelen van geproduceerde artefacten), zoals gedefinieerd
door McKenna et al (2021).

4.3 Ontwerpvereisten van de dashboard

Deze subsectie vat de ontwerpvereisten samen die geïdentificeerd zijn tijdens de iteraties van de
methode.

4.3.1 Problemen en kansen

Docenten meldden dat de Learning Management System (LMS) slechts beperkte feedback geeft
waardoor zij de neiging hebben om een “reactieve rol” aan te houden in de course: docenten
kunnen niet weten dat een student het moeilijk heeft voordat hij/zij expliciet om hulp vraagt. De
docenten proberen hiermee om te gaan door dagelijks een “check routine” uit te voeren in de (LMS)
discussie borden/fora, middels “direct messages”, de inlever status van opdrachten en wat simpele
rapporten. Tijdens de interviews lieten de docenten vaker de woorden “onderzoeken” en
“synthetiseren” of “samenvatten” bij het vermelden van hun verwachtingen van het gebruik van
LMS-logboeken voor procesfeedback (Dourado et al., 2021).

16
4.3.2 Gegevens- en taakabstractie
Zoals aanbevolen door Münzner en McKenna et al. zijn de domeingegevenstypen (of
"proxy's") geïdentificeerd tijdens de eerste iteratie, zoals weergegeven in tabel 1 van Dourado et al,
2021. Evenzo zijn de geïdentificeerde domeintaken toegewezen aan de abstracte visualisatietaken
voorgesteld door Plaisant & Shneiderman, zoals weergegeven in tabel 2 (Dourado et al., 2021).

Tabel 1: Domeingegevens toegewezen aan abstracte gegevenstypen, (Dourado et al., 2021)

Tabel 2: Domeintaken toegewezen aan abstracte gegevenstypen, (Dourado et al., 2021)

In tabel 3 is te zien dat verscheidene aandachtspunten van studenten op de Digitale Leeromgeving

(ook wel LMS genoemd in de literatuurstudie) terug te vinden moeten zijn in een Learning
Analytics dashboard. Deze aandachtspunten zijn: of een student toegang heeft tot een course, of een
student toegang heeft tot een leermiddel, of een student een bericht heeft gestuurd, of een bericht is
gelezen, of een forum is geopend, of de student geabonneerd is op het ontvangen van forum-
updates, of een student iets in een forum plaats, of een opdracht is gevisualiseerd, of er poging is
gedaan tot het oplossen van een opdracht, of een opdracht is ingeleverd en of een leermiddel is
gedownload (Dourado et al., 2021).

Tabel 3: In kaart gebrachte de leergebeurtenissen in de dataset aan onze datavereisten, (Dourado et al., 2021)

17
Al deze aandachtspunten in een dashboard zullen de docent inzichten bieden in het verbeteren van
hun cursusontwerp (zie figuur 10).

Figuur 10: Dashboard-layout met vier panelen: A) “Overzicht”, voor algemene cursusinformatie; B) "Pattern
Discovery", voor realtime en retrospectieve patroon-analyses; C) “Details”, voor de leertraject-analyse van
individuele studenten; en D) legendas

4.4 Effectieve Learning Analytics dashboards

Tijdens een driejarig onderzoek naar het opzetten van effectieve Learning Analytics dashboards,
zijn door Sven Charleer, Joris Klerkx, Erik Duval, Tinne De Laet en Katrien Verbert vijf dashboards
ontwikkeld en ingezet. Deze vijf dashboards worden in deze sectie aangehaald met “A, B, C, D en
E”.

Elk dashboard bouwt voort op bevindingen van het voorgaande, rekening houdend met de
stakeholders en de specifieke leercontext waarin het zal worden ingezet. De dashboards zijn in
eerste instantie gebouwd als low-fidelity-prototypes, met vier high-fidelity dashboard-prototypes
die tijdens pilot studies in authentieke omgevingen werden ingezet. De dashboards zijn ontwikkeld
met behulp van web technologieën zoals D3.js, Processing.js en Node.js. Tabel 1 geeft een
overzicht van de dashboards, hun cursus setting en evaluaties. Screenshots van de dashboards zijn
te vinden in figuur 11.

4.4.1 A: Navi Badgeboard

De Navi Badgeboard biedt de gebruiker (docent) per student dashboards met daarin een overzicht
van behaalde (in kleur) en nog haalbare (uitgegrijsde) doelen middels badges. Studenten kunnen
zich onder leeftijdsgenoten positioneren door middel van het nummer naast elke badge, dat aangeeft
hoeveel studenten dit doel hebben bereikt. Een hoog cijfer naast een grijze badge geeft dus aan dat
de student een van de weinige studenten is zonder de badge. Een laag cijfer naast een gekleurde

18
badge geeft aan dat de student een van de weinigen is die deze badge heeft verdiend. Het dashboard
is ontworpen om te werken op mobiele apparaten en desktop browsers (Charleer et al., 2016).

4.4.2 B: Navi Surface

Navi Surface is een interactieve visualisatie voor meerdere gebruikers, ontworpen voor grote multi-
touch tafelbladen. Uit een lijst met studenten namen en cursusbadges kunnen zowel studenten als
docenten tegelijkertijd badges en studenten namen naar het scherm slepen. Het dashboard
visualiseert vervolgens de badge-beloning relaties door lijnen van studenten naar badges te trekken,
waardoor een overzicht en vergelijking van prestaties wordt geboden om het gesprek te stimuleren
(Charleer et al., 2016).

4.4.3 C: Class View-dashboard

Het Class View-dashboard is ontworpen voor grote desktop monitors, interactieve whiteboards en
grote aanraakschermen. Vier modules visualiseren de LA-gegevens op verschillende manieren: een
studenten-badge-matrix laat zien hoe vaak een bepaalde student een bepaalde badge heeft gekregen.
Activiteiten en badges worden in de loop van de tijd gevisualiseerd door middel van vijf
verschillende staafdiagrammen, die de hoeveelheid uitgevoerde activiteit en toegekende badges per
dag weergeven. Als de docent een dag selecteert, wordt de lijst met activiteiten of badges
weergegeven die die dag zijn toegekend. Door een van deze activiteiten te selecteren, wordt op zijn
beurt de inhoud achter de analytische gegevens gevisualiseerd (bijvoorbeeld de tekst van de
blogpost). Een andere lijst met staafdiagrammen toont het aantal toegekende onderscheidingen per
badge. Twee modules zorgen voor het filteren van bovenstaande gegevens. De gebruiker kan een
tijdsbereik instellen en de gegevens splitsen door studenten te groeperen. Dit vergemakkelijkt het
vergelijken van studenten, waarbij elke visualisatiemodule de gegevens van elke groep in
verschillende kleuren weergeeft (Charleer et al., 2016).

4.4.4 D: Het LARAe-dashboard

Het LARAe-dashboard visualiseert blog- en Twitter-activiteiten van studenten. Volgens de
"Overzicht+Context"-aanpak toont het overzicht cirkels gekleurd op leeftijd die activiteiten
vertegenwoordigen en zijn gegroepeerd op activiteitstype (blog, blogcommentaar, tweet, retweet)
en op studentengroep/personeel. Door een activiteit te selecteren, wordt het content gedeelte van de
visualisatie bijgewerkt en wordt een draad weergegeven met de inhoud van de activiteit (bijv. de
tekst van de blogpost) en de gerelateerde activiteiten (bijv. blogopmerkingen). De activiteiten in
deze thread worden ook gemarkeerd in het overzicht, wat een visueel overzicht geeft van de
verdeling van mensen die betrokken zijn bij de geselecteerde activiteit. Het getal in elke cirkel geeft
de hoeveelheid activiteit aan (bijvoorbeeld het aantal reacties op een blogpost). Het dashboard is
ontworpen om op grote schermen, desktop computers en tablets te draaien (Charleer et al., 2016).

In context van het EBCD op de HvA, kan het LARAe-dashboard mogelijk worden ingezet voor de
Feedbackfruits of voor Surveys leerobjecten, omdat deze leerobjecten ook comment-functies
bevatten, net zoals Twitter .

19
4.4.5 E: Het LARAe.TT-dashboard
Het hoofddoel van LARAe.TT is om gezamenlijke verkenning van de leerpaden te
vergemakkelijken, d.w.z. de chronologische volgorde van alle gegenereerde activiteiten en
artefacten.
De visualisatie toont een horizontale lijn per activiteit “thread”, bijvoorbeeld de creatie van een
hypothese door een leerling, gevolgd door elke opmerking over- , waardering op - en bewerking
van de hypothese. De chronologie wordt bijgehouden over alle threads, zodat de gebruiker kan zien
welke impact een gebeurtenis kan hebben gehad op andere parallelle thread.

Figuur 11. A. Navi Badgeboard: cursusdoelen visualiseren door middel van badges. B. Navi Surface:
gezamenlijke verkenning van LA-gegevens. C. Twee Class View-modules: vergelijking van twee groepen
studenten (rood en blauw) via de studentenbadgematrix en de grafiek van de totale activiteit per dag. D. LARAe:
integratie van LA met studentenworkflow. E. LARAe.TT: gezamenlijke verkenning van de leerpaden.

20
 5. Data uit Power BI dashboard voor verbetering curusontwerp
In dit hoofdstuk zal de laatste deelvraag worden beantwoord, namelijk: “Welke inzichten biedt het
gebruik van een Power BI dashboard aan docenten om hun cursusontwerp te verbeteren?”

Voor het onderzoek zijn er hypotheses opgesteld over de Assignment en Submission data uit de
Power BI omgeving: “Feedback is Read”, “Date difference” en “Score”.
Feedback Is Read bevat informatie over of feedback wel of niet wordt gelezen.

Verder is er data opgeschoond om “Date difference” te kunnen achterhalen: vanuit de kolom “Due
date”, ook wel de uiterste inleverdatum, en de kolom “Completion date”, ook wel het moment van
inleveren door de student, is er een berekening gemaakt om te zien wat het inlevermoment van de
student was ten opzichte van het uiterste inlevermoment dat vanuit de docent was bepaald.

De Score geeft de bijbehorende cijfers van de studenten aan.

5.1 Hypotheses
Over de gelezen feedback is de volgende hypothese opgesteld:
- Studenten die hun feedback lezen, halen gemiddeld hogere cijfers.

De bovengenoemde hypothese is gesteld, omdat er vanuit wordt gegaan dat studenten die hun
feedback meestal lezen, hun schoolwerk serieuzer nemen dan studenten die hun feedback niet of
nauwelijks openen.

Over de “due date” is de volgende hypothese opgesteld:

- Er worden gemiddeld hogere cijfers behaald wanneer een opdracht eerder dan de “due date”
wordt ingeleverd dan wanneer een opdracht later dan de “due date” ingeleverd wordt.

De bovengenoemde hypothese is bedacht, omdat er vanuit wordt gegaan dat studenten die (ruim)
van de voren hun opdracht inleveren, hun schoolwerk serieuzer nemen dan studenten die hun
opdrachten pas na het aangewezen inlevermoment inleveren.
5.2 Feedback wel/niet gelezen

In deze subsectie zullen de gemiddelde cijfers van HvA studenten die wel of niet hun feedback
lezen naast elkaar gezet.

Om dit te analyseren is er eerst gekeken naar hoeveel studenten überhaupt hun feedback wel of niet
hebben gelezen. In totaal was er data beschikbaar van 175801 HvA studenten, waarvan er 110591
hun feedback wel openden en 65210 niet (zie figuur 12).

21
Figuur 12: Van de HvA studenten in de dataset hadden er 110591 hun feedback wel gelezen en 65210 niet

Aangezien er veel meer studenten hun feedback wel lazen, is er een greep van 2000 studenten
genomen uit de totale dataset, waarvan 1000 hun feedback openden en 1000 niet. Dit is gedaan
zodat het verschil in hun gemiddelde cijfers geanalyseerd kon worden (zie figuur 13).

Figuur 13: Gemiddelde cijfers van greep uit totale dataset van 2000 studenten, waarbij 1000 wel hun feedback
lazen en 1000 niet.

22
5.2.1 T-Test resultaten
Een t-test is een statistiek die wordt gebruikt om te bepalen of er een significant verschil is tussen
de gemiddelden van twee groepen, die in bepaalde kenmerken verband kunnen houden met elkaar.
Aangezien er sprake is van een analyse tussen twee even grote groepen (van 1000 en 1000) HvA
studenten, is er gekozen voor een “paired” T-test. Een hoge T-waarde geeft aan dat er een groot
verschil bestaat tussen de twee steekproef sets.

De resultaten van de “paired” T-test zijn als volgt:

● P-waarde en statistische significantie:
De tweezijdige P-waarde is kleiner dan 0,0001
Volgens conventionele criteria wordt dit verschil als zeer statistisch significant beschouwd.
● Betrouwbaarheidsinterval:
Het gemiddelde van groep één minus groep twee is gelijk aan 1,89
95% betrouwbaarheidsinterval van dit verschil: van 1,68 tot 2,09
● Tussenwaarden gebruikt in berekeningen:
t = 17,9091
df = 999
standaardfout van verschil = 0.105

Met een T-waarde van 17,9 kan de hypothese “Studenten die hun feedback lezen, halen gemiddeld
hogere cijfers” worden bevestigd.
5.3 Inlevermoment ten opzichte van inleverdatum
In deze subsectie zullen de gemiddelde cijfers van HvA studenten, op basis van hun inlevermoment,
naast elkaar gezet worden. Voor deze analyse zijn er drie groepen bekeken:
1. Studenten die hun opdracht voor de uiterste inleverdatum (due date) inleveren
2. Studenten die hun opdracht op de uiterste inleverdatum (due date) inleveren
3. Studenten die hun opdracht na de uiterste inleverdatum (due date) inleveren

Om dit verschil te kunnen analyseren, is de data eerst opgeschoond, zie figuur 14.

Figuur 14: opgeschoonde data voor Date Difference, waarbij het verschil in dagen wordt weergegeven

Aangezien er drie groepen zijn geanalyseerd, is een T-test hier niet van toepassing. De drie groepen
zijn daarbij ook in een ongelijk aantal, omdat alle studenten (175801 HvA studenten) in de
beschikbare dataset in de analyse zijn inbegrepen.

23
Figuur 15: gemiddelde cijfers van studenten die hun opdracht voor, op en na het uiterste inlevermoment hebben
ingeleverd

Aangezien een T-test niet mogelijk is, kan de hypothese “Er worden gemiddeld hogere cijfers
behaald wanneer een opdracht eerder dan de “due date” wordt ingeleverd dan wanneer een
opdracht later dan de “due date” ingeleverd wordt” niet officieel bevestigd worden.
6. Aandachtspunten cursusontwerp
Om een course zo effectief mogelijk te ontwerpen, zijn er volgens Dee Fink (2003) vijf stappen die
gevolgd moeten worden.

Stap 1: De eerste stap begint met het identificeren van belangrijke situationele factoren die van
invloed kunnen zijn op de course.

De onderstaande vragen moeten in acht genomen worden voor deze stap en uitgewerkt worden in
een worksheet:
● Welke afdelings-, hogeschool- of universiteit resultaten worden verwacht van de course?
● Hoe/waar past de course in het studieprogramma van de studenten?
● Hoeveel studenten zitten er in de klas?
● Van welk niveau is de course?
● Hoe vaak komt de course bij elkaar en hoe lang duurt elke bijeenkomst?
● Welke verwachtingen hebben de studenten van de course en de inhoud ervan?
● Welke voorkennis nemen de leerlingen mee naar de klas?
● Welke culturele factoren kunnen belangrijk zijn voor het succes van de leerlingen?
● Wat is de leefsituatie van de leerlingen en hoe kan dit de klas beïnvloeden?
● Zijn er fysieke elementen die de klas zullen beïnvloeden? (Dee Fink, 2003)

24
Stap 2: Zodra de belangrijkste situationele factoren voor de course geïdentificeerd zijn, kan de
docent doorgaan met het identificeren van leerresultaten.

De onderstaande vragen moeten in acht genomen worden voor deze stap en uitgewerkt worden in
een worksheet:

● Wat wil je dat studenten weten en kunnen als ze je cursus afronden?

● Wat zou je willen dat de impact is op je leerlingen over 2-3 jaar?
● Welke belangrijke informatie is belangrijk voor studenten om te weten?
● Welke kernideeën zijn belangrijk voor studenten om te begrijpen?
● Welke vaardigheden hebben studenten nodig?
● Wat voor soort projecten moeten studenten kunnen voltooien?
● Welke verbanden moeten studenten kunnen herkennen?
● Wat moeten studenten over zichzelf leren? ● Wat moeten studenten leren over
anderen?
(Dee Fink, 2003)

Stap 3: Nadat de leerresultaten voor de course zijn geïdentificeerd, kan de docent doorgaan met het
maken van beoordelingen die laten weten of de studenten aan de leerresultaten hebben voldaan. Dit
is een cruciale stap om te weten of de studenten daadwerkelijk wat aan het leren zijn (Dee Fink,
2003).
Er zijn drie soorten assessments:

1. Pre-assessments: Pre-assessments worden uitgevoerd voorafgaand aan een leerevenement

en helpen zowel de student als de instructeur om te bepalen hoe het eerdere leerproces van
de student een rol zal spelen in de course. Een korte quiz of een survey-onderzoek naar
achtergrondkennis kan helpen om misvattingen over een onderwerp te identificeren en een
startpunt voor instructie te bieden (Dee Fink, 2003).

2. In-Class Assessments: In-class assessments vinden plaats tijdens de de course. Deze zijn
ontworpen om te meten waar de kennisbasis van de student zich op een bepaald moment
bevindt. Ze zijn over het algemeen vormend van aard en kunnen studenten helpen moeilijke
concepten beter te begrijpen. Deze assessments helpen de faculteit te begrijpen wanneer en
hoe vanaf dat punt verder te gaan (Dee Fink, 2003).

3. Post-assessments: Post-assessments zijn over het algemeen summatief van aard en bedoeld
om de kennis van de leerling te beoordelen nadat de course heeft plaatsgevonden. De meest
voorkomende vorm van deze assessment zijn projecten, examens en papers die aan het
einde van een course worden gedaan voor een cijfer (Dee Fink, 2003).

De onderstaande vragen moeten in acht genomen worden voor deze stap en uitgewerkt worden in
een worksheet:

25
 ● Wat zijn de beste manieren om kennis, vaardigheden en attitudes in de course te
beoordelen?
● Worden er examens en/of quizzen afgenomen?
● Is het de bedoeling dat studenten formeel of informeel schrijven?
● Zullen de beoordelingen vooruitstrevend zijn (studenten moeten een probleem oplossen) of
achterwaarts denken (studenten moeten inhoud onthouden)?
● Hoe ziet 'kwaliteit'-werk eruit in deze opleiding?
● Worden zelfevaluatie en/of reflectie opgenomen?
● Hoeveel tijd is er om kwaliteitsfeedback te geven aan studenten na afronding van een
beoordeling?
(Dee Fink, 2003)

Stap 4: Nu dat de resultaten en de beoordelingen die de docent in de course zal gebruiken zijn
geïdentificeerd, kan de docent nu beginnen na te denken over hoe de studenten van punt A (het
begin van de course reis) naar punt B (succes op de beoordelingen) bewogen kunnen worden. In
deze stap zal de docent moeten nadenken over het leveren van de cursusinhoud.

De onderstaande vragen moeten in acht genomen worden voor deze stap en uitgewerkt worden in
een worksheet:

● Hoe krijgen studenten informatie (college, lezen, bekijken)?

● Wat laat de docent de studenten doen tijdens de les?
● Hoe kan het leren versterkt worden?
● Wordt er technologie gebruikt (Blackboard, iClickers, laptops)?
● Zorgen de activiteiten voor reflectie?
● Zullen de activiteiten direct leren of indirect leren omvatten?
● Worden er debatten, games of rollenspellen gebruikt?
● Worden er eigen verhalen of die van anderen gedeeld?
● Zijn er groeps- of partneractiviteiten nodig?
(Dee Fink, 2003)

Stap 5: Nu de docent de resultaten, beoordelingen en activiteiten heeft, kan er een effectieve course
ontworpen worden. Twee dingen zijn essentieel voor deze laatste stap in het cursus ontwerpproces:
een syllabus en een coursekalender (Dee Fink, 2003).

26
 7. Conclusie
In sectie 1.1 werd de hoofdvraag van dit onderzoeksrapport gesteld, namelijk: “Hoe kunnen
docenten middels PowerBI dashboards inzicht krijgen in het gebruik van leerobjecten op de
Digitale Leeromgeving (DLO), om hun cursusontwerp te verbeteren?”

Dit rapport bevatte verschillende onderzoeksmethoden, namelijk een analytische

onderzoeksmethode, een semi-gestructureerd interview en een literatuuronderzoek. Deze methoden
hebben veel verschillende kennispunten met zich meegebracht die samen gebruikt kunnen worden
om tot een conclusie te komen.

Volgens literatuuronderzoek, afkomstig uit betrouwbare bronnen, moet een Learning Analytics
dashboard voldoen aan de volgende aandachtspunten:
● Of een student toegang heeft tot een course
● Of een student toegang heeft tot een leermiddel
● Of een bericht is gelezen ● Of een forum is geopend
● Of een student iets in een forum plaats
● Of een opdracht is gevisualiseerd/gelezen
● Of er poging is gedaan tot het oplossen van een opdracht
● Of een opdracht is ingeleverd
● Of een leermiddel is gedownload
(Dourado et al. 2021)

De data uit de Power BI omgeving voldoet aan de volgende punten wel (groen) en niet (rood):

Gewenste situatie Huidige situatie

Data over of een student toegang heeft tot een Deze data zijn in Brightspace te zien en reeds
course geïmplementeerd in de productieomgeving

Data over of een student toegang heeft tot een

Deze data zijn in Brightspace te zien maar zijn
leermiddel
nog niet geïmplementeerd in de
productieomgeving

Data over of een bericht is gelezen
Deze data zijn niet beschikbaar in de DLO
omgeving. Echter bestaan deze data in de
mailfunctie (Outlook). Optie: Microsoft tools
koppelen aan Brightspace en data uit MS 365
exporteren

Data over of een forum is geopend

Deze data zijn in Brightspace te zien en reeds
geïmplementeerd in de productieomgeving

27
 Data over of een student iets in een forum Deze data zijn in Brightspace te zien en reeds
plaatst geïmplementeerd in de productieomgeving

Data over of de student geabonneerd is op het Dit is mogelijk, alleen is het nog onduidelijk of
ontvangen van forum-updates deze data al zijn opgeslagen

Data over of een opdracht is gelezen

Deze data zijn in Brightspace te zien en reeds
geïmplementeerd in de productieomgeving

Data over of er poging is gedaan tot het Afhangend van de leerobjecten op de

oplossen van een opdracht Brightspace omgeving. Bij quizzen en
feedbackfruits zijn deze data in Brightspace te
zien en reeds geïmplementeerd in de
productieomgeving

Data over of een opdracht is ingeleverd

Deze data zijn in Brightspace te zien en reeds
geïmplementeerd in de productieomgeving

Data over of een leermiddel is gedownload Het is nog onbekend of deze data uit de
Brightspace omgeving te halen vallen. Wel is
het mogelijk om documenten in PDF of Word
format te downloaden op de DLO
(J. W. Doornenbal, 2022) Tijdens een driejarig onderzoek naar het bouwen van effectieve learning
analytics dashboards, ontwikkelden en implementeerden Sven Charleer, Joris Klerkx, Erik Duval,
Tinne De Laet en Katrien Verbert vijf dashboards: de Navi, Navi Surface, Class View, LARAe en
LARAe.TT dashboards.

Ook is er met behulp van Power BI data geanalyseerd van HvA studenten die hun in-line feedback
wel en niet lezen. Met een hoge T-waarde van 17,90 is gebleken dat studenten die hun feedback
wel lezen, gemiddeld hogere cijfers halen dan studenten die geen feedback lezen.

Verder zijn er drie groepen geanalyseerd met betrekking tot het inleveren van opdrachten en het
uiterste inlevermoment. Ondanks dat een T-test voor deze groepen niet mogelijk was, is het
waarschijnlijk dat HvA studenten die hun opdracht voor het uiterste inlevermoment inleverden
gemiddeld hogere cijfers haalden ten opzichte van studenten die hun opdracht pas na het uiterste
inlevermoment inleverden.

Daarnaast is het nuttig om de vijf stappen van Dee Fink (2003) te volgen om op effectieve wijze de
cursussen op de DLO te ontwerpen. De vijf stappen omvatten: het identificeren van belangrijke
situationele factoren die van invloed kunnen zijn op de course, het identificeren van leerresultaten,
het maken van “Pre”, “In-Class” en “Post” assessments, waarmee gebruik kan worden gemaakt van

28
de Surveys leerobject, het leveren van de course inhoud en tot slot het maken van een syllabus en
een cursuskalender.

De DLO kent verscheidene leerobjecten die ingezet kunnen worden door docenten om het
leerproces van hun studenten te verbeteren, waarvan deze leerobjecten het meest worden ingezet
door docenten die hun cursussen als succesvol beschouwen (volgens de resultaten uit het semi-
gestructureerd onderzoek): Announcements, Contents, Rubrics, Calendar, Feedback, Surveys en
Feedbackfruits.
Bronnenlijst
Van Trigt, M, (2019) Hoe data de kwaliteit van het onderwijs kunnen verbeteren

A. (2021, 28 december). What Is Kanban? An Overview Of The Kanban Method. Digite.

Geraadpleegd op 8 mei 2022, van https://www.digite.com/kanban/what-is-kanban/

https://www.surf.nl/files/2019-05/Whitepaper-Hoe-data-de-kwaliteit-van-het-onderwijs-kunnen-verb

eteren-2019.pdf

Brightspace Support. (2022, 8 april). Course schedule to communicate dates and deliverables |

Teaching & Learning Support. Teaching & Learning Support | TU Delft Collaboration and Learning

Environment. Geraadpleegd op 8 mei 2022, van https://teaching-support.tudelft.nl/using-the-course-

schedule-to-communicate-dates-and-deliverables

Dee Fink, L. (2003). A Self-Directed Guide to Designing Courses for Significant Learning. A Self-

Directed Guide to Designing Courses for Significant Learning.

Kernbegrippen digitale leeromgeving. (z.d.). SURF.nl. Geraadpleegd op 21 april 2022, van

https://www.surf.nl/kernbegrippen-digitale-leeromgeving

Krishnan, V. (2017, 8 augustus). IR @ INFLIBNET: Research Data Analysis with Power BI. Power

BI. Geraadpleegd op 8 mei 2022, van https://ir.inflibnet.ac.in/handle/1944/2116

Rubrics (Brightspace). (z.d.). Rubrics (Brightspace). Geraadpleegd op 8 mei 2022, van

https://www.ru.nl/docenten/ict-onderwijs/alle-tools/rubrics-brightspace/

Dourado et al. (2021). A Teacher-facing Learning Analytics Dashboard for Process-oriented

Feedback in Online Learning. In LAK21: 11th International Learning Analytics and Knowledge
Conference (LAK21), April 12–16, 2021, Irvine, CA, USA. ACM, New York, NY, USA, 8 pages.
https://doi.org/10.1145/3448139.3448187)

29
Bijlage A: Interview met docent Information Security
Interview over Dashboards, Data en de DLO

Deelnemers: Majdouline Hamdi

Geïnterviewde: Docent themasemester Information Security en voormalig docent Cyber Security, aangeduid met B.

Geïnterviewd door: Mevr. M. Hamdi

Verslaglegging door: Mevr. M. Hamdi

Datum: 28-04-2022

Toelichting

In het volgende treft u een verslag aan van een interview dat heeft plaatsgevonden tussen een docent van het
themasemester Information Security en een data analist (Majdouline Hamdi). Dit is een semi-gestructureerd
interview.

Verslaglegging van het interview

M: Goedemiddag, zoals afgesproken houden we vandaag een interview voor mijn stage via de Teams
omgeving. Mijn stage gaat onder anderen over de interactie tussen docenten en de Digitale Leeromgeving en
hun ervaringen met dashboards. Zou u zichzelf kort willen voorstellen?

B: Ja goedemiddag, dat wil ik wel doen ja. En je mag me trouwens tutoyeren hoor!
Ik ben docent aan de Hogeschool van Amsterdam en ik verzorg het themasemester Information Security en
dat doe ik al een paar jaartjes. Hiervoor gaf ik les aan de opleiding Cyber Security.

M: Wij kennen elkaar al van het themasemester Information Security afgelopen semester en aangezien ik uw
lesmethode erg opvallend vond heb ik u gevraagd voor dit interview. Dit interview zal gaan, zoals ik al in de
mail had beschreven, over uw ervaringen met de DLO en hoe u dashboards gebruikt. Ik had u al wat
screenshots van dashboards gestuurd, maar ik herinner me nog dat u tijdens het themasemester ook eigen
dashboards gebruikte om uw lessen vorm te geven. Kunt u daar wat over vertellen?

B: Ja dat heb je goed onthouden. Ik maakte zeker gebruik van dashboards zoals je dat elke vrijdag zag en die
dashboards waren eigenlijk opgesteld aan de hand van twee dingen: de enquêtes die ik jullie (de studenten)
liet invullen aan het einde van elke les en de tijdsregistratie die jullie elke week voor jullie project moesten
invullen. Nou op die manier zag ik wat de tevredenheid was van de studenten over onze manier van lesgeven
en zag ik hoeveel tijd jullie per projectonderdeel kwijt waren.

M: Kleine onderbreking… Mag ik een voorbeeld screenshot van uw dashboards delen in mijn
onderzoeksrapport?

B: Van mij mag het zeker!

M: Oke.

30
B: En ja zoals ik al zei, die dashboards gebruikte ik dus om mijn lessen, o.a. op de DLO, vorm te geven en
om in te spelen op jullie persoonlijke behoeftes. Die dashboards helpen enorm bij het evalueren op mijn
lessen.

M: Aha, dus u gebruikte eigenlijk dashboards om te kunnen reflecteren op uw leswijze en om een soort van
“les op maat” te maken voor uw studenten?

B: Ja dat klopt, als ik bijvoorbeeld zag dat een groot deel van de studenten ontevreden was over een bepaalde
course, want we hadden naast het project vier courses, dan vergeleken we altijd wel wat nou het verschil was
tussen de courses die hoger scoorden en de courses die lager scoorden. En de studenten konden in de
enquêtes ook comments achterlaten, dus dat hielp enorm met het voorbereiden van de lessen.

M: Aha, interessant! En was er ook een tijd in uw docenten carrière waar u geen gebruik maakte van data uit
dashboards en zo ja, wat was dan het grootste verschil tussen toen en nu?

B: Hele goede vraag. In het begin maakte ik inderdaad geen gebruik van studenten data en ik zag gewoon dat
een best groot deel van de studenten ofwel niet gemotiveerd was, of onnodig lage cijfers haalden. Ik vond
het toen heel lastig om erachter te komen waar dat aan lag, en elke student individueel vragen naar hun
ervaring vonden we ook omslachtig. Dus na wat onderzoekjes hebben ik en mijn Information Security
collega’s besloten dat we alles zouden bijhouden.
Ons doel is namelijk de studenten daadwerkelijk helpen en op effectieve wijze lesgeven. En we merken nu
al, want we gebruiken pas sinds twee jaar echt consequent gebruik van studenten data, dat er een aanzienlijk
verschil is in studententevredenheid en hun cijfers.

M: Wow, dat toont echt wel aan dat u uw best deed om te achterhalen wat het beste zou werken om het
lesgeven te verbeteren. Ik moet eerlijk zeggen, het themasemester van afgelopen semester heb ik ervaren als
heel leerzaam en effectief. Ik had het gevoel dat jullie echt naar de studenten luisterden en niet alleen
volgens “het boekje” les gaven.

B: Dank je wel, dat is natuurlijk heel fijn om te horen. Daar doen we het uiteindelijk voor. We doen het echt
voor jullie. We willen jullie zoveel mogelijk kennis meegeven maar wel op een draaglijke manier.

M: Kunt u uitleggen wat u verstaat onder “draaglijk”?

B: Met draaglijk bedoel ik het overbrengen van leerstof op een manier die studenten kunnen uitstaan als het
ware. Op een manier waarop het goed binnenkomt en waar jullie gemotiveerder van raken. Want je hebt vast
wel eens een docent gehad die zijn studenten bombardeerde met lesstof zonder dat je er echt van had
opgestoken?

M: Oh ja zo’n docent heb ik inderdaad gehad. Dat was voor het vak programming en user interaction. Met
alle respect naar de docenten, want zij deden heus wel hun best, maar ik merkte dat ze nooit reflecteerden op
hun lesmethoden en dat ik enorm mijn best moest doen om me te kunnen concentreren.

B: Ja nou dat bedoel ik dus!

M: En u zei ook “op effectieve wijze lesgeven”, zou u daarover ook kunnen uitleggen wat u daar precies mee
bedoelde?

31
B: Klopt. Ons doel was dus niet alleen jullie volgooien met stof, waar ik ook wel net zoveel voor betaald zou
krijgen hoor, maar juist jullie op een manier bereiken dat *wat* wij jullie leerden ook echt zou blijven
hangen en dat jullie gemotiveerd zouden raken om huiswerk te maken en de assignments en feedbackfruits
serieus te nemen. En dat is wat ik bedoelde met “effectief”.

M: U en uw Information Security collega’s zouden een voorbeeld kunnen zijn voor veel docenten, want van
alle vakken en docenten die ik tot nu toe in de opleiding heb meegemaakt is jullie themasemester (en de
bijbehorende courses) mij wel echt het meest bijgebleven.

B: *lacht* Dank je wel Majdouline, dat doet me oprecht goed.

M: Wij hebben nu het gedeelte Dashboards en Data behandeld. Ik had nog een aantal vragen opgesteld over
uw ervaringen met de DLO. Zullen we die nu behandelen?

B: Ga je gang!

M: De DLO kent veel verschillende leerobjecten, denk aan feedbackfruits, quizzes, assignments met rubrics,
etc. In de mail had ik u een lijst gestuurd van alle DLO leerobjecten. Welke leerobjecten zet u voor uw
courses in en waarom?

B: Ja inderdaad. Nou zoals je weet verzorgde ik, naast het project gedeelte, twee courses (vakken) binnen het
themasemester. Voor die courses maak ik in elke weekmodule een feedbackfruits aan. Die gebruik ik zodat
studenten elkaars werk kunnen nakijken en op tijd kunnen beginnen aan de assignments. De feedbackfruits
wordt namelijk aan het begin van een huiswerkopdracht aangemaakt en daar krijgen studenten dan een week
de tijd om de feedback mee te nemen in hun assignments. Nou, op die manier verwachten we dat studenten
op tijd beginnen met hun huiswerk.

Daarnaast gebruik ik uiteraard de Surveys optie zodat ik de studentervaringen kan meenemen binnen die
dashboards waar ik het eerder over had. Ook zette in Announcements in zodat studenten als eerst de
belangrijkste nieuwtjes konden lezen.
Na wat twijfelen besloot ik om ook Rubrics bij de assignments toe te voegen, want ik heb gemerkt dat dit
gewoon gunstiger is voor de studenten. Het heeft geen zin om studenten niet te laten weten waarop zij
worden beoordeeld. Bij de Contents gaf ik jullie veel linkjes, video’s en pdf bestanden om te bestuderen en
liet ik jullie niet verplichte deel-opdrachtjes maken. En vergeet niet de Calendar die we inzetten om jullie
aan de deadlines en due dates te herinneren. Aan het begin van de corona pandemie maakte ik ook wel eens
gebruik van de Virtual Classrooms, maar dat werkte niet helemaal lekker. Toen zijn we maar overgestapt op
Teams. Tot slot gaf ik ook in-line feedback die jullie konden lezen en gebruiken om jullie werk te verbeteren.

M: Neemt u ook het niveau (bijv leerjaar, kennis) van de studenten mee wanneer u bepaalde leerobjecten
inzet? Zo ja, op welke manier?

B: Nou ja qua niveau; voor dit themasemester is iedereen ofwel eind tweedejaars of begin derdejaars student.
Wel hebben we studenten van verschillende studierichtingen zoals software engineering, cyber security en
business IT & management. Dat nemen we op zich wel mee door de studenten een vragenlijst in te laten
vullen over welk project ze het liefst willen doen. Weet je dat nog?

M: Oh ja, dat kan ik me herinneren!

32
B: Dus dan zien we ongeveer welk project de studenten willen doen en elk project heeft weer een
gestructureerde DLO ontwerp die voor het grootste gedeelte al van te voren was ontworpen.

M: Ik zie alweer dat we door de tijd heen zijn. Het liefst praat ik nog met u door maar we zitten al meer dan
een uur te kletsen! Ik wil u bedanken voor uw tijd.

B: Graag gedaan! Ik wens jou nog veel succes met je stageopdracht.

M: Dank u wel! Dit interview zal ik uitschrijven. Wilt u een kopie van dit interview opgestuurd krijgen?

B: Nou nee hoor dat is niet nodig. Ik vertrouw erop dat je het goed zal doen. Fijne dag nog!

M: Fijne dag!

33
Bijlage A.1: Screenshots Dashboards student data themasemester Information Security

34