Tvorba testů

1. Úvod
 na první pohled dávají snadno porovnatelné
výsledky
 rychlé na vypracování i opravy
 několikanásobně použitelné
 ale kvalitní testy =

validní
 reliabilní

definované parametry

se znalostí zásad tvorby
2. Rozlišovací a ověřovací testy
 rozlišovací test

pro stanovení pořadí
 srovnání s normou

nepoužívat pro klasifikaci
 např. přijímací (prvních 200 žáků), ET
 ověřovací test
 pro zjištění, zda učivo zvládnuto
 běžná prověrka
 lze stanovit dopředu minimální hranici
2. Rozlišovací a ověřovací testy
 rozlišovací test

kromě úvodních otázek všechny rozlišovat
 průměr 50-60 %

mají být zastoupena všechna témata
 příklad – testy Ekonomický tým

ET vzorek vyhodnocení.doc
 střední.doc
 obtížné.doc
 snadné.doc
2. Rozlišovací a ověřovací testy
 ověřovací test

témata, jako když se dělá vrt
 není potřebné ani žádoucí z testu vylučovat
otázky s vysokou úspěšností
3. Validita a reliabilita
 validita

měří co chceme
 face validita
• představa nezávislé osoby po zběžném pročtení
– vytváří ji obsah (shoda s tím, co se odučilo)
– zda použiji obvyklé formulace
3. Validita a reliabilita
 reliabilita

stejnorodost výsledků
 důležitá u více variant testů

neznamená ještě validitu (např. otázky na
hlavní město neověří prostorovou
představivost)
4. Tvorba testu
 téma zúžíme na uzavřené otázky
 výchozí zásady

standardní, jednoduché, krátké formulace

kmen otázky bez pokynů
 přesně
• např. chci-li příčiny, pak kolik nebo kolik min.
 pro distraktory využitelné to, kde dělají chyby
 spíše, aby každý distraktor byl využitelný

negativní otázky, zápory graficky zvýraznit

pokud možno jen jeden typ formátu otázek
4. Tvorba testu
 formát otázek

dichotomické otázky
 2 alternativy
• ano – ne
• správně – nesprávně
• oběžný majetek – dlouhodobý majetek
 vyšší pravděpodobnost hádání
• vyšší počet úloh
• přísněji hodnotit

svádí k faktografičnost či ověřování trivialit
4. Tvorba testu
 formát otázek

otázky s výběrem odpovědí
 1 správná odpověď
• Např. - Vyberte, které obchodní společnosti se týká:
 více správných odpovědí
• říci předem
• dává stejné výsledky jako test s 1 správnou
odpovědí
4. Tvorba testu
 formát otázek

otázky s výběrem odpovědí
 1 nejsprávnější odpověď
• Např. - O dlouhodobém majetku můžeme říci, že:
– cena přesahuje 40 000 Kč
– cena podle zákona o daně z příjmů přesahuje 40 000 Kč
– cena by měla přesahovat 40 000 Kč, aby odpisy byly
daňově účinné
– žádné z předchozích tvrzení není správné
4. Tvorba testu
 formát otázek

přiřazovací úlohy
• k názvům v levém sloupci přiřaďte správné
charakteristiky z pravého sloupce
4. Tvorba testu

1 oběžný majetek A postupně se

2 dlouhodobý majetek opotřebovává
B mění svoji podobu
C cena přesahuje limit
daný zákonem
D hromada písku za
70 000 Kč
E kopírka za 32 000 Kč
4. Tvorba testu
 formát otázek

uspořádací úlohy
 Např. - Seřaďte následující příjmy státního
rozpočtu podle velikosti – připsáním
pořadových čísel 1- 4 (1. znamená největší
příjem):
• DPH ……….
• silniční daň ……….
• spotřební daně ……….
• sociální pojištění ……...
4. Tvorba testu
 jak omezit hádání výsledků
 4 distraktory

opravené skóre = počet správných odpovědí –
- [počet chyb žáka : (počet odpovědí v úloze – 1)]
• nevyplatí hádat, lepší skóre když otázku nevyplní
• test 20 otázek, 12 správně, 5 chybně, 3 bez odpovědi, 4
distraktory
• opravené skóre = 12 – [5 : (4-1)] = 10,3
• pokud hádá, má 8 chyb
• opravené skóre = 12 – [8 : (4-1)] = 9,3
• může být nespravedlivé u sebekritických, opatrných
4. Tvorba testu
 jak omezit hádání výsledků

neurčitá odpověď
• Např. - Hrubé mzdy v únoru 2009 činily 35 000 Kč.
Vypočtěte, kolik z této částky činil celkový odvod
sociálního pojištění:
a) 11 025 Kč
b) 11 375 Kč
c) 11 550 Kč
d) ani jedna z částek není správná
4. Tvorba testu
 pilotáž

spíše testy přijímací či jinak důležité (maturitní)
 stejnorodá skupina
• př. pilotáž testu ET
5. Hodnocení testu
 váha úloh, bodování

je-li stejnorodý test, dávat stejnou váhu všem
otázkám
 v bodování může se zohlednit
• časová náročnost
• obtížnost
• význam učiva
• struktura otázky (za každý krok ohodnotit)
• v souvislejší úloze srazit jen bod, pokud dále počítá
správně s chybným číslem?
 bodovat dopředu
5. Hodnocení testu
 hraniční skóre

podle ostatních – prvních 200 nejlepších,
prvních 10 % nejlepších – např. přijímací
zkoušky

podle minimálního požadovaného výkonu –
nejméně 60 %
5. Hodnocení testu
 časový limit

90 – 90
 dle potřeby
 přiměřená náročnost
 spíše lehčí s vyšším hraničním skóre
• psychologicky účinnější
• snižují pravděpodobnost úspěchu díky hádání
5. Hodnocení testu
 současná tvorba testů se přiklání spíše k lehčímu
zadání s tvrdší hodnotící stupnicí
 teorie udává, že stupnice by měla vést k
normálnímu rozložení známek
 tzn. průměr 3,00?
 5. Hodnocení testu

 vlastní názor - 10
9
optimální obtížnost,
8
jestliže známky utvoří 7
posunuté normální 6
rozdělení 5
4
 průměr do 2,50
3
2
1
0
1 2 3 4 5
6. Položková analýza
 stihli – nestihli
 odpověděli – neodpověděli

proč
 správné – nesprávné
 hlavní chyby a vedlejší chyby

% úspěšnosti počítat jen k těm, co stihli
 distraktor 1, 2, 3
 kde se hodně chybuje
 kde se nechybuje
 teoreticky zastoupeny rovnoměrně – není nutné
6. Položková analýza
 citlivost

optimum
6. Položková analýza
 citlivost

lehké
6. Položková analýza
 citlivost

příliš těžké
6. Položková analýza
 citlivost

lehká – odliší jen dobré

a velmi špatné
6. Položková analýza
 citlivost

příliš těžké
odliší jen špičky
7. Ukázka srovnávací prověrky EKO 1
 Srovnávací EKO 1.doc

 většina otázek tohoto testu vyžaduje přemýšlení,

nejde jen o typ „co je to“
 jedna správná odpověď
 čas 10 min
 vše na vzorku 73 žáků ze 6 tříd 1. roč. v květnu
 průměr dosažených bodů 6,7 z 10 možných, nikdo
neměl 10 bodů, 3 žáci měli 9 bodů
 ve variantě B 2 žáci, kteří dosáhli 10 bodů
7. Ukázka srovnávací prověrky EKO 1

% správných odpovědí
92
100 85
75 77
80 67
53 53 52
60
% úspěšnosti 38
40 26
20
0
1 2 3 4 5 6 7 8 9 10
otázky
7. Ukázka srovnávací prověrky EKO 1
Poř. Třída Celkem 1 2 3 4 5 6 7 8 9 10
1 A 9 1 1 1 1 1 1 1 0 1 1
2 C 9 1 1 1 1 1 1 1 1 0 1
3 C 9 0 1 1 1 1 1 1 1 1 1
4 A 8 0 1 0 1 1 1 1 1 1 1
5 A 8 0 1 1 1 1 1 1 1 0 1
0,4 1,0 0,8 1,0 1,0 1,0 1,0 0,8 0,6 1,0

17 A 7 0 0 1 1 1 1 1 0 1 1
18 A 7 1 0 1 1 1 1 1 0 1 0
19 B 7 1 0 1 1 1 1 1 0 0 1
20 B 7 0 1 0 1 1 0 1 1 1 1
0,50 0,25 0,75 1,00 1,00 0,75 1,00 0,25 0,75 0,75

38 A 6 0 0 1 1 1 1 1 1 0 0
39 A 6 0 1 0 1 1 0 0 1 1 1
40 A 6 0 1 0 1 1 1 1 0 0 1
- 0,67 0,33 1,00 1,00 0,67 0,67 0,67 0,33 0,67

61 A 5 0 0 0 1 1 1 1 1 0 0
62 A 5 1 0 0 1 1 0 1 0 1 0
63 A 5 0 1 0 1 1 0 1 0 1 0
0,33 0,33 - 1,00 1,00 0,33 1,00 0,33 0,67 -

70 E 4 1 0 0 1 0 0 1 0 1 0
72 D 3 0 0 0 1 1 1 0 0 0 0
73 E 2 0 0 0 0 1 0 0 0 0 1
0,33 - - 0,67 0,67 0,33 0,33 - 0,33 0,33
7. Ukázka srovnávací prověrky EKO 1
Poř. Třída Celkem 1
1 A 1 1
2 C 1 1
3 C 0 0
4 A 0 0
5 A 0 0
0,4 0,6
17 A 0 0 0,5
18 A 1 1
19 B 1 1
0,4
20 B 0 0
0,50
0,3
38 A 0 0
39 A 0 0 0,2
40 A 0 0
- 0,1

61 A 0 0 0
62 A 1 1 1 2 3 4 5
63 A 0 0
0,33

70 E 1 1
72 D 0 0
73 E 0 0
0,33
 1)fyzické,
2)duševní,
3)doplňkové,
4)kulturní.

7. Ukázka srovnávací prověrky EKO 1

Nákup módního
 ot. 1 – úspěšnost 26 % oblečení
 chybná formulace uspokojuje
zadání (módní potřeby:
oblečení) a) fyzické,
 proto nejčastěji b) duševní,
uvádějí b) c) doplňkové,
d) kulturní.
7. Ukázka srovnávací prověrky EKO 1

 ot. 1 – úspěšnost 26 %
Otázka 1
 chybná formulace
zadání (módní 0,60

oblečení) 0,40

 proto nejčastěji 0,20

uvádějí b) -
1 2 3 4 5

 citlivost – těžká úloha,

odliší jen špičky –
ovšem v důsledku
chyby zadání
 1)fyzické,
2)duševní,
3)doplňkové,
4)kulturní.

7. Ukázka srovnávací prověrky EKO 1

Určete, co představuje pro

 ot. 2 – úspěšnost 67 % obyvatele plyn zavedený
 celkem vhodně do obce:
a) veřejný spotřební
zvoleny distraktory statek,
kromě d), kde ho b) veřejný kapitálový
zvolil jen 1 žák statek,
c) nehmotnou
kolektivní službu,
d) nehmotný
individuální statek.
7. Ukázka srovnávací prověrky EKO 1

 ot. 2 – úspěšnost 67 %
Otázka 2
 celkem vhodně
zvoleny distraktory 1,00

kromě d), kde ho 0,50

zvolil jen 1 žák

-

 citlivost – víceméně 1 2 3 4 5

dobře odlišuje
 1)fyzické,
2)duševní,
3)doplňkové,
4)kulturní.

7. Ukázka srovnávací prověrky EKO 1

Vyberte opatření, které

 ot. 3 – úspěšnost 53 % povede k intenzivnímu
 dobře zadáno růstu produkce pšenice:
a) zvýšení počtu
 relativně obtížné zaměstnanců,
b) změna používaného
hnojiva,
c) zvýšení počtu secích
strojů,
d) změna velikosti
plochy oseté
pšenicí.
7. Ukázka srovnávací prověrky EKO 1

 ot. 3 – úspěšnost 53 % Otázka 3

 dobře zadáno
 relativně obtížné
1,00
0,80
0,60
 citlivost optimální 0,40
0,20
-
1 2 3 4 5
 1)volné, 1)fyzické,
2)řemeslné, 2)duševní,
3)ohlašovací, 3)doplňkové,
4)koncesované. 4)kulturní.

7. Ukázka srovnávací prověrky EKO 1

 ot. 4 – úspěšnost 75 % Uveďte, který z uvedených

 zvýrazněný zápor druhů živností NEmusí
 distraktor c) nevhodný, splňovat zvláštní
podmínky živnostenského
protože je částečně zákona:
také správný a) volné,
 distraktory b), d) si b) řemeslné,
téměř nevybírají c) ohlašovací,
 nevhodná otázka, d) koncesované.
protože neúspěšnost je
dána především
špatnou formulací c)
7. Ukázka srovnávací prověrky EKO 1

 ot. 4 – úspěšnost 75 %
 zvýrazněný zápor Otázka 4

 distraktor c) nevhodný, protože

je částečně také správný
1,50
 distraktory b), d) si téměř
1,00
nevybírají
 nevhodná otázka, protože 0,50

neúspěšnost je dána především -

špatnou formulací c) 1 2 3 4 5

 citlivost nízká, rozliší jen

špatné žáky
 1)volné, 1)fyzické,
2)řemeslné, 2)duševní,
3)ohlašovací, 3)doplňkové,
4)koncesované. 4)kulturní.

7. Ukázka srovnávací prověrky EKO 1

Vyberte okamžik, který je

 ot. 5 – úspěšnost 85 % rozhodující pro právní
vznik obchodní společnosti:
 až příliš jednoduché
a) uspořádání valné
hromady
společníků,
b) sepsání společenské
smlouvy,
c) zápis do obchodního
rejstříku,
d) vklad předepsané
výše členského
podílu.
7. Ukázka srovnávací prověrky EKO 1

 ot. 5 – úspěšnost 85 %
Otázka 5
 až příliš jednoduché
 citlivost nízká, rozliší 1,50

jen špatné žáky 1,00

0,50

1 2 3 4 5
 1)volné, 1)fyzické,
2)řemeslné, 2)duševní,
3)ohlašovací, 3)doplňkové,
4)koncesované. 4)kulturní.

7. Ukázka srovnávací prověrky EKO 1

Příspěvkové organizace jsou:
a) společenské organizace,
 ot. 6 – úspěšnost 52 % kde členové platí
příspěvky,
 relativně obtížné b) občanská sdružení
 dobře rozložené financovaná
distraktory, kromě a) dobrovolnými příspěvky
dárců (sponzorů),
c) organizační složky
územně správních celků,
které nemají žádné
příjmy,
d) neziskové organizace,
jejichž příjmy jsou nižší
než výdaje.
7. Ukázka srovnávací prověrky EKO 1

 ot. 6 – úspěšnost 52 %
Otázka 6
 relativně obtížné
 dobře rozložené 1,00

distraktory, kromě a)
0,50
 citlivost optimální
-

1 2 3 4 5
 1)fyzické,
2)duševní,
3)doplňkové,
4)kulturní.

7. Ukázka srovnávací prověrky EKO 1

 ot. 7 – úspěšnost 92 %
 opět zvýrazněný zápor
 jednoznačně příliš
jednoduché –
nevhodné distraktory
Do oběžného majetku
NEpatří:
a) hotové výrobky a
pohledávky,
b) hotové peníze a
peníze na účtech
v bance,
c) zásoby materiálu a
zboží,
d) akcie a licence.
7. Ukázka srovnávací prověrky EKO 1

 ot. 7 – úspěšnost 92 % Otázka 7

 opět zvýrazněný zápor

 jednoznačně příliš 1,20

1,00

jednoduché – 0,80

nevhodné distraktory
0,60

0,40

 citlivost nízká, odliší 0,20

jen špatné žáky 1 2 3 4 5

 1)fyzické,
2)duševní,
3)doplňkové,
4)kulturní.

7. Ukázka srovnávací prověrky EKO 1

Přejímka materiálu
představuje:
 ot. 8 – úspěšnost 38 % a) spočítání obalů a
potvrzení dodávky na
 nízká úspěšnost může
dodacím listu;
být dána i menší b) spočítání obalů a
pozorností věnované uložení materiálu do
tomuto při výuce x skladu;
analogická otázka c) podrobné zjištění
varianty B (převzetí dodaného množství a
materiálu) úspěšnost uložení materiálu do
74 %) skladu;
 nejčastější odpověď a) d) podrobné zjištění
dodaného množství a
zaplacení.
7. Ukázka srovnávací prověrky EKO 1

 ot. 8 – úspěšnost 38 %
 nízká úspěšnost může být Otázka 8
dána i menší pozorností
věnované tomuto při 0,80
výuce x analogická otázka 0,60
varianty B (převzetí
0,40
materiálu) úspěšnost
74 %) 0,20

 nejčastější odpověď a) -

1 2 3 4 5
 citlivost – těžká úloha,
která neodliší dobré a
špatné žáky
 1)fyzické,
2)duševní,
3)doplňkové,
4)kulturní.

7. Ukázka srovnávací prověrky EKO 1

 ot. 9 – úspěšnost 52 %
 relativně obtížné
 distraktor b) obsahuje
nápovědu
 rovnoměrně rozložené
odpovědi
Oprávky k dlouhodobému
majetku:
a) jsou součtem vstupní
ceny a odpisů,
b) opravují vstupní cenu
na zůstatkovou cenu,
c) jsou součtem
zůstatkových cen za
dobu odpisování,
d) představují
odpisovou sazbu v %.
7. Ukázka srovnávací prověrky EKO 1

 ot. 9 – úspěšnost 52 %
Otázka 9
 relativně obtížné
 distraktor b) obsahuje 0,80

nápovědu 0,60
0,40
 rovnoměrně rozložené 0,20

odpovědi -

1 2 3 4 5
 citlivost celkem
vhodná
 1)fyzické,
2)duševní,
3)doplňkové,
4)kulturní.

7. Ukázka srovnávací prověrky EKO 1

Kosmetické závody
 ot. 10 – úspěšnost zakoupily licenci k výrobě
77 % pleťového krému na 5 let za
2 mil. Kč. Licence bude
 a), c) je jasné, že to vedena jako:
nebudou a) oběžný majetek
(zboží),
b) finanční investice,
c) hmotný dlouhodobý
majetek,
d) nehmotný
dlouhodobý
majetek.
7. Ukázka srovnávací prověrky EKO 1

 ot. 10 – úspěšnost Otáz ka 10

77 %
 a), c) je jasné, že to
1,00
0,90
0,80

nebudou 0,70
0,60

 citlivost vhodná 0,50

0,40
0,30
0,20
0,10
-
1 2 3 4 5
7. Ukázka srovnávací prověrky EKO 1
 závěr - testy používat velmi opatrně
 žák nemusí pochopit zadání stejně jako vyučující
– ot. 1
 nebezpečí nápovědných distraktorů – ot. 9
 nebezpečí nejednoznačných distraktorů – ot. 4
 některé otázky budou nutně příliš lehké, jiné příliš
těžké – ot. 7 x ot. 8
 není vždy čas vše takto podrobně vyhodnocovat
 často vedou k pamětnímu učení – jsou-li otázky
formulovány jako CO JE TO…