Pagina 1

1 3 Kostenanalyse
77
1 4 Snelle analysemethode
81
DEEL TWEE Multimedia-instructieontwerp
91
1 5 Inleiding tot multimedia-instructieontwerp
93
1 6 Projectplanning
104
1 7 Projectteam
109
1 8 Mediaspecificaties
116
1 9 Inhoudsstructuur
129
2 0 Configuratiecontrole
153
DEEL DRIE Multimedia-ontwikkeling en -implementatie
159
2 1 Inleiding tot multimedia-ontwikkeling
161
2 2 Gemeenschappelijke ontwikkelingscomponenten
171
2 3 Computergebaseerde leeromgevingen ontwikkelen
181
2 4 Ontwikkeling van internet, intranet, webgebaseerd en
Prestatieondersteunende leeromgevingen
190
2 5 Interactieve uitzending op afstand ontwikkelen
omgevingen
214
DEEL VIER Multimedia Evaluatie
221
2 6 Inleiding tot multimedia-evaluatie
223
2 7 Doel van de evaluatie
227
2 8 Evaluatiestrategie
232
2 9 Evaluatieplan
235
3 0 Geldigheidsmaten
245
3 1 Instrumentontwikkeling
252
3 2 Gegevens verzamelen en analyseren
265
Inhoud
x

Pagina 2
232
Evaluatiestrategie
U moet beginnen met een duidelijk plan in gedachten van wat uw organisatie
de evaluatiestrategie van de zation zal zijn. Welk niveau van evaluatie-
ties ga je gebruiken en hoe ga je ze meten? Wat zal
uw middelen zijn om advies te geven over het bouwen van evaluatie
in elke ontwikkelde oplossing?
Figuur 28.1 toont de vier componenten van een algemene strategie. de veel grotere
onderdeel is een algemene leerstrategie. Een leerstrategie legt een organisatie
de algemene filosofie van het land over wat het wil bereiken door te leren
aan zijn medewerkers.
Een tweede component is een e-learningstrategie die een subset is van de learning
strategie. De e-learningstrategie schetst welke technologie het bedrijf nodig heeft om
investeren in, of bereid zijn te investeren in, om leren te leveren. De e-learningstrategie on-
omvat de technologische infrastructuurcapaciteiten die zullen worden gebruikt om volledig te
implementeren
ment de leerstrategie, evenals welk talent en vaardigheden zullen moeten worden verworven
of ontwikkeld om e-learning te implementeren.
De evaluatiestrategie is het derde onderdeel. Het schetst hoe de andere twee
componenten worden gemeten en tegen welke criteria (zoals verbeterde prestaties
vorm of return-on-investment). Component vier is een evaluatieplan (afdek-
beschreven in hoofdstuk negenentwintig) dat is ontwikkeld voor elk afzonderlijk project binnen
de leerstrategie.
De leerstrategie en e-learningstrategie vallen buiten het bestek van dit boek.
We raden de boekenreeks van William Horton aan, uitgegeven door ASTD (zie de
ASTD boekhandel op www.astd.org). Wat we hier zullen bieden, is een proces en hulpmiddelen
voor het ontwikkelen van een evaluatiestrategie.
hoofdstuk
TWINTIG-
ACHT

Pagina 3
VERWERKEN
Er zijn drie activiteiten die moeten worden voltooid om een evaluatiestrategie te vormen:
1. Schrijf een inleiding over de filosofie, het doel en de noodzaak van een evaluatie
uatie strategie.
2. Bepaal de vereisten om de resultaten te evalueren.
3. Bepaal uit welke informatiebronnen je gaat putten
uw strategie.
EVALUATIESTRATEGIE PROCEDURE
Volg deze activiteiten:
Activiteit één: een inleiding schrijven
Wat is de grondgedachte of reden voor de noodzaak van een evaluatiestrategie? Wat zijn
de onderdelen?
Activiteit twee: de evaluatie-eisen bepalen
Stel je de volgende situatie voor:
• Hoe de evaluatiestrategie te implementeren
• Wat te meten?
• Hoe het te meten?
Evaluatiestrategie
233
Afbeelding 28.1
Onderdelen van een leerstrategie
Evaluatieplan
Evaluatiestrategie
Strategie voor e-learning
Leerstrategie

Pagina 4
• Hoe gegevens worden gevalideerd
• Hoe gegevens worden verzameld, geanalyseerd en gebruikt
• Systeem dat zal worden gebruikt om de gegevens te analyseren
Activiteit drie: bronnen bepalen
Stel een lijst samen met bronnen voor expertise (boeken, tijdschriften, leveranciers en/of
en waar iedereen kennis van moet nemen.
Bijlage E bevat een formulier Evaluatiestrategie; een voltooid voorbeeld voor a
bedrijf genaamd Training and Consulting Softek is te vinden in bijlage D.
SAMENVATTING
Een algemene strategie die iedereen begrijpt en volgt, is van cruciaal belang om te presteren.
kwaliteitsevaluaties uitvoeren. Met een strategie kunnen ontwikkelaars evaluatie inbouwen in elke
oplossing. Het volgende hoofdstuk, Evaluatieplan, laat zien hoe u beslissingen kunt nemen voor elk
oplossing op basis van de algemene strategie.
Op multimedia gebaseerd instructieontwerp, tweede editie
234

Pagina 5
235

Evaluatieplan
E ach project moet een evaluatie plan dat contouren precies hoe en
op welk niveau het project zal worden geëvalueerd. Een evaluatieplan
moeten worden ontwikkeld aan het einde van de analysefase of aan het begin
ning van de ontwerpfase zodat alle leden van het projectteam kunnen bouwen
de evaluatie in elk onderdeel van het project naarmate het vordert. EEN
sjabloon voor een evaluatieplan is te vinden in de evaluatietools
deel van Bijlage E.
VERWERKEN
Voer de volgende activiteiten uit voor een evaluatieplan:
1. Vul het gedeelte over de probleemstelling in.
2. Vul het gedeelte over de oplossing in.
3. Vul het gedeelte over doelstellingen in.
4. Vul de onderdelen van het evaluatieplan in voor elk niveau waarop u
zal het project evalueren.
5. Vul de samenvatting in.
EVALUATIEPLAN PROCEDURE
Volg deze activiteiten:
hoofdstuk
TWINTIG-
NEGEN

Pagina 6
Activiteit één: het gedeelte Probleemstelling invullen
Stap één: Geef duidelijk aan waarom u dit probleem wilt aanpakken. Welk probleem is het?
veroorzaakt voor de organisatie? Dit is misschien het gat dat aan het einde werd ontdekt
van beoordeling.
Stap twee: Beschrijf de kloof tussen de huidige en de gewenste toestand. Beschrijven
de gewenste staat.
Activiteit twee: Voltooi het gedeelte Oplossing
Beschrijf de oplossing (vanaf de analysefase) om de kloof te overbruggen.
Activiteit drie: Voltooi het gedeelte Doelstellingen
Geef de gewenste prestatie-uitkomsten aan. Wat wordt er verbeterd als de oplossing
wordt uitgevoerd?
Activiteit vier: Voltooi de relevante onderdelen van het evaluatieplan
Vul het plan in voor elk niveau waarop u het project gaat evalueren. Hier zijn
de verschillende niveaus en de vragen die beantwoord moeten worden:
Niveau 1: Reactie
• Enquêteconstructie - de inhoud van de enquête
Over welke onderdelen van de oplossing wilt u informatie?
Zijn er aanvullende materialen waarvoor u wilt bepalen?
bruikbaarheid en kwaliteit?
Worden deze activiteiten gezien als waardevol voor de inhoud?
Wilt u informatie verzamelen over de kwaliteit en prestaties van?
begeleiders of assistenten ter plaatse?
Wanneer worden de enquêtes afgenomen? Alleen aan het einde of na bepaalde
delen van de oplossing zijn bekeken?
Zullen er experimentele en controlegroepen zijn, en zullen de groepen zijn?
een ander of hetzelfde onderzoek afgenomen?
Heeft u demografische gegevens nodig?
Wilt u demografische gegevens afstemmen op bepaalde soorten reacties op de
onderzoek om te bepalen of bepaalde deelnemers verschillende reacties hebben
aan bepaalde aspecten van de oplossing dan aan andere?
Op multimedia gebaseerd instructieontwerp, tweede editie
236

Pagina 7
• Gegevensverzameling: de methoden en systemen die worden gebruikt om gegevens te verzamelen
Zullen de enquêtes online, op papier of scanbare formulieren zijn?
Hoe worden de gegevens uit het onderzoek vastgelegd?
Welk type meetschaal wordt gebruikt?
Waar en hoe worden gegevens opgeslagen en opgehaald en door wie?
• Gegevensanalyse: de soorten informatie die nodig zijn uit de gegevens en de
systemen die zullen worden gebruikt
Welke antwoorden worden vergeleken met andere antwoorden om de
betekenis van gegevens? (U kunt bijvoorbeeld demografisch vergelijken
informatie naar de inhoud om te bepalen hoe mensen van verschillende leeftijden,
geslacht of etnische achtergrond hierop reageren.)
Hoe worden de antwoorden getabelleerd (gemiddeld, opgeteld, niveaus van
betekenis)?
• Verwachte resultaten – de veranderingen in reactie op de inhoud, de oplossing, enzovoort
weer, die u wilt zien voor en nadat de oplossing is bekeken
Wat zijn acceptabele niveaus van verandering?
Worden er verschillende resultaten verwacht van verschillende demografische groepen?
• Rapportageresultaten - formaat en gebruik van de informatie
Hoe wordt de informatie gerapporteerd en verspreid en door wie?
Zullen de rapporten op papier of elektronisch zijn?
Komt er een bijeenkomst om de resultaten te bespreken? Zo ja, wie coördineert dat?
bijeenkomst en hoe wordt deze georganiseerd?
Hoe zullen vragen worden behandeld en beslissingen uit de vergaderingen worden genomen?
geïmplementeerd?
Niveau 2: Kennis
• Testconstructie - de vorm van de testinstrumenten
Komt er een toets?
Hoeveel vormen van de test zullen er zijn?
Wanneer worden er testen afgenomen?
Evaluatieplan
237

Pagina 8
Hoe worden testen gewogen?
Moet u demografische informatie verzamelen? Zo ja, welke informatie?
Ga je experimentele en controlegroepen gebruiken?
Krijgen beide groepen dezelfde test?
Zullen de tests voor en/of na afloop zijn?
Zijn de tests prescriptief of diagnostisch?
Zijn de tests online of op papier?
Welk type vragen zal worden gebruikt en waarom is dat formulier het beste voor?
het meten van de kennis die is opgedaan met deze oplossing?
• Gegevensverzameling - hoe gegevens worden verzameld
Worden de gegevens automatisch overgebracht naar een elektronische database of
papieren toetsen naar een centrale locatie moeten worden gemaild?
Indien mailing, wie is verantwoordelijk voor de verzending en wie ontvangt ze?
Worden gegevens met de hand ingevoerd in een systeem en wat wordt dat systeem?
• Gegevensanalyse: de gewenste informatie uit de tests
Bent u op zoek naar trends van verbetering en/of cutoff scores?
Als u een pilottest uitvoert, voert u afleideranalyses uit en?
het bepalen van de standaard meetfout en standaarddeviatie?
Welke statistische test gebruikt u om gegevens te meten? Is de statistische test?
geschikt voor dit testinstrument?
• Verwachte resultaten - de verbetering die u wilt zien
Hoeveel verbetering verwacht u te vinden?
Verwacht u wisselende resultaten te vinden bij verschillende demografische groepen?
• Rapportageresultaten - formaat en gebruik van de informatie
Hoe wordt de informatie gerapporteerd en verspreid en door wie? Zullen
rapporten op papier of elektronisch?
Komt er een bijeenkomst om de resultaten te bespreken? Zo ja, wie coördineert dat?
bijeenkomst en hoe wordt deze georganiseerd?
Op multimedia gebaseerd instructieontwerp, tweede editie
238

Pagina 9
Hoe zullen vragen worden behandeld en beslissingen uit de vergaderingen worden genomen?
geïmplementeerd?
Niveau 3: Prestaties
• Constructie van observatiestudie - de vorm van de observatiestudie
Wat wordt het formaat van de observatie-instrumenten?
Hoe worden de instrumenten gevalideerd?
Voert u een interbeoordelaarsovereenkomst uit? Hoe en wanneer?
Wanneer vinden de waarnemingen plaats?
Hoe worden waarnemingen gedaan?
Hoe worden waarnemingen gewogen?
Moet u demografische informatie verzamelen? Zo ja, welke informatie?
Observeer je artiesten voor en/of nadat de oplossing is bekeken?
Op welke tijdsperiode nadat deelnemers de oplossing hebben bekeken of voltooid, zal?
vindt de waarneming plaats?
Ga je experimentele en controlegroepen gebruiken?
Krijgen zowel de experimentele als de controlegroep hetzelfde?
observeren en tegelijkertijd?
Observeer je dezelfde groep voor en na het gebruik van de oplossing?
Welk type observatie zal worden gebruikt en waarom is die vorm het beste voor?
succesvolle prestaties meten?
• Gegevensverzameling - de manier waarop de waarneming zal worden gedaan
Zullen de waarnemingen direct zijn, via verborgen camera's, op videoband, of?
door te kijken naar het eindresultaat dat de oplossing is ontworpen om te veranderen?
Wie zal de waarnemingen doen en wat zijn hun kwalificaties?
Hoe worden waarnemers opgeleid?
Wat zal de interactie zijn tussen de waarnemer en de uitvoerder?
Wat voor soort instructies en informatie geven waarnemers de?
artiest, als die er is?
Evaluatieplan
239

Pagina 10
• Gegevensanalyse - de gewenste informatie van de waarneming
Bent u op zoek naar trends van verbetering en/of minimale prestaties?
Welke statistische test gebruikt u om de resultaten te meten?
Is de statistische maatstaf geschikt voor dit instrument?
• Verwachte resultaten - de verbetering die u wilt zien
Hoeveel verbetering verwacht u te vinden?
Verwacht u wisselende resultaten te vinden bij verschillende demografische groepen?
• Rapportageresultaten - formaat en gebruik van de informatie
Hoe wordt de informatie gerapporteerd en verspreid en door wie?
Worden ze op papier of elektronisch?
Wat waren de verwachte resultaten?
Wat waren de onverwachte resultaten? Wat is er gebeurd dat kan hebben veroorzaakt?
deze resultaten?
Komt er een bijeenkomst om de resultaten te bespreken? Zo ja, wie coördineert dat?
bijeenkomst en hoe wordt deze georganiseerd?
Hoe zullen vragen worden behandeld en beslissingen uit de vergaderingen worden genomen?
geïmplementeerd?
Niveau 4: Impact
• Studieconstructie - de vorm van de studie
Welke berekeningen gaan er in de ROI-formule?
Welke kostenelementen zullen worden opgenomen? Welke wordt uitgesloten
en waarom?
Welke variabelen kunnen tussenkomen die u niet kunt controleren in uw onderzoek?
Hoe ga je daar rekening mee houden in je resultaten?
Ga je gegevens verzamelen over de kosten die gepaard gaan met gemiste kansen,
productiviteit, enzovoort, ter vergelijking voor en nadat de oplossing is
geïmplementeerd?
Op multimedia gebaseerd instructieontwerp, tweede editie
240

Pagina 11
• Gegevensverzameling - gegevensbronnen
Welke gegevens zijn beschikbaar en waar kunnen deze worden gevonden?
Wie verzamelt de gegevens en hoe?
Hoe nauwkeurig zijn de gegevens? Hoe compenseer je onvolledige of?
onjuiste gegevens?
• Gegevensanalyse: hoe de gegevens worden berekend
Gebruik de formule voor ROI in hoofdstuk dertien.
• Verwachte resultaten - de verbetering die u wilt zien
Hoeveel ROI verwachtte u te vinden op basis van de kosten-batenanalyse?
jij voerde? Waren de KBA en ROI dichtbij? Zo niet, wat onvoorzien?
factoren die het verschil hebben veroorzaakt?
• Rapportageresultaten - formaat en gebruik van de informatie
Hoe wordt de informatie gerapporteerd en verspreid en door wie? Zullen
het rapport op papier of elektronisch?
Wat waren de verwachte resultaten?
Wat waren de onverwachte resultaten? Wat is er gebeurd dat kan hebben veroorzaakt?
deze resultaten?
Komt er een bijeenkomst om de resultaten te bespreken? Zo ja, wie coördineert dat?
bijeenkomst en hoe wordt deze georganiseerd?
Hoe zullen vragen worden behandeld en beslissingen uit de vergaderingen worden genomen?
geïmplementeerd?
Activiteit vijf: de samenvatting invullen
Stap één: Omschrijf kort het probleem. Deze verklaring moet een korte samenvatting zijn
van de probleemstellingssectie.
Stap twee: Beschrijf kort de oplossing. Deze verklaring moet een korte samenvatting zijn
marisatie van de oplossing sectie.
Figuur 29.1 is een stroomschema van het proces van het evaluatieplan.
Evaluatieplan
241

Pagina 12
UIT ONZE ERVARING
Probeer niet elk project op het hoogste niveau te meten. Stel meetdoelen in.
Als u bijvoorbeeld een interne opleidingsgroep of een bedrijfsuniversiteit bent en
een bepaald aantal curricula aanhoudt, kunt u een doel stellen van 100 per-
cent van al uw aanbod omvat een niveau 1-evaluatie binnen tien maanden. Jij mag
besluit om 75 procent van uw aanbod te koppelen aan een kennistest van niveau 2
binnen twaalf maanden (maar alleen die aanbiedingen waarbij een kennistoets maakt)
gevoel). U kunt besluiten om 25 procent van uw aanbod te evalueren met een niveau 3-evaluatie.
binnen de komende twaalf maanden en voer twee niveau 4-evaluaties uit binnen
het volgende jaar.
Zorg ervoor dat u oplossingen kiest die bedrijfsinitiatieven zijn voor de Level
4 evaluatie, aangezien deze passen in de bedrijfsdoelstellingen en de meest erkende
wanneer u een positieve ROI laat zien.
SAMENVATTING
Hoofdstukken Achtentwintig en Negenentwintig beschrijven hoe een evaluatie kan worden ontwikkeld
strategie en een evaluatieplan. In de overige hoofdstukken wordt uitgelegd hoe u
de onderdelen van een evaluatieplan. De informatie in deze hoofdstukken omvat:
specifiek hoe een enquête, een test, een observatie of een impactstudie te ontwikkelen en
hoe de gegevens te analyseren die in het evaluatieplan worden opgenomen.
Op multimedia gebaseerd instructieontwerp, tweede editie
244