A feladatok nehézségének meghatározásához több szempontot is figyelembe kell vennünk,

nem elég csak azt nézni mennyien oldották meg. Egy adott nehézségű feladatot egy jó, illetve
gyengébb teljesítményű tanuló különböző valószínűséggel old meg, így egy adott diák
megoldása különböző súllyal számít bele a feladat nehézségi szintjébe. Ezért olyan számolási
modell szükséges, amely a feladat megoldásának valószínűsége és a diák teljesítményének/
képességének függvényében tesz becslést a feladat nehézségére.
IRT - item response theory
Az item-válaszelmélet (IRT), más néven látens válaszelmélet, matematikai modellek
családjára utal, amelyek megpróbálják megmagyarázni a kapcsolatot a látens tulajdonságok
(nem megfigyelhető jellemző vagy attribútum) és azok megnyilvánulásai (azaz megfigyelt
eredmények, válaszok vagy teljesítmény) között. Kapcsolatot teremtenek a mérésen
megfigyelt/látott elemek tulajdonságai, az ezekre az elemekre reagáló egyének és a mért
mögöttes tulajdonság között. Az IRT azt feltételezi, hogy a látens változó (pl. stressz, tudás,
attitűdök) és egy mérés elemei nem megfigyelhető kontinuumban szerveződnek. Ezért fő célja
az egyén helyzetének meghatározása a kontinuumon.
IRT feltevések (IRT Assumption)
1) Monotonitás – A feltételezés azt jelzi, hogy a tulajdonság szintjének növekedésével a
helyes válasz valószínűsége is nő.
2) Egydimenziósság – A modell feltételezi, hogy van egy domináns látens tulajdonság mérése,
és ez a tulajdonság a megfigyelt válaszok mozgatórugója. a mérőszám minden egyes elemére
3) Helyi függetlenség – A tesztben a különálló itemekre adott válaszok egy bizonyos
képességszint mellett egymástól függetlenek.
4) Invariancia – Az item-paramétereket az item-válaszgörbe bármely pozíciójából
megbecsülhetjük. Ennek megfelelően meg tudjuk becsülni egy item paramétereit bármely
alanycsoportból, akik válaszoltak a tételre.
Ha a feltételezések igazak, a válaszadók közötti helyes válaszok megfigyelésében mutatkozó
különbségek a látens tulajdonságuk eltéréseiből fakadnak.
Item Response Function and Item Characteristic Curve (ICC)
Az IRT-modellek a válaszadók válaszait egy mérés elemeire a látens vonáskontinuumban
elfoglalt helyzetük és az elemek jellemzői, más néven paraméterek alapján jósolják meg. Az
ICC függvény jellemzi ezt az összefüggést. Az alapfeltevés az, hogy minden válasz egy
elemre a mérésen némi hajlamot nyújt az egyén látens tulajdonságának vagy képességének
szintjére vonatkozóan. A személy képessége (θ) leegyszerűsítve annak a valószínűsége, hogy
az adott tételre adott helyes választ. Mint látható, minél magasabb az egyén képessége, annál
nagyobb a helyes válasz valószínűsége. Ez a kapcsolat grafikusan ábrázolható, és az ICC
néven ismert. Amint az ábrán látható, a görbe S alakú.
A Rasch-modell kontra 1-paraméteres logisztikai modellek (The Rasch Model vs. 1-
Parameter Logistic Models)
A modellek matematikailag egyenlőek, azonban a Rasch-modell 1-re korlátozza a tétel
diszkriminációt (ai), míg az 1-paraméteres logisztikai modell arra törekszik, hogy a lehető
legjobban illeszkedjen az adatokhoz, és nem korlátozza a diszkriminációs tényezőt 1-re. A
Rasch-modell annyiban jobb, hogy inkább az adott vizsgált dimenzióra lett kifejlesztve. Ezért
a számolásnál a Rasch-modell lenne a legjobb, hiszen javítja a kapott eredmények
pontosságát.

Használt software: jMetrik

1. ábra File -> Open -> megfelelő file kiválasztása -> Open File

2. ábra Manage -> Open Database -> megfelelő file kiválasztása

3. ábra változók átalakítás: Transform -> Advanced Item Scoring…

4. ábra A megfelelő értékek beírása, és az „item”-ek hozzáadása a „>>” segítségével

5. ábra Submit segítségével a kódolás hozzáadása

6. ábra Rasch modell kiválasztása
Output:

feladatok nehézsége - Difficulty

FINAL JMLE ITEM STATISTICS

==================================================================================
===============

Item Difficulty Std. Error WMS Std. WMS UMS Std. UMS

-------------------------------------------------------------------------------------------------

item1 0,72 0,05 1,01 0,56 1,00 0,15

item2 -0,24 0,05 1,01 0,73 1,02 0,81

item3 0,12 0,05 1,00 0,28 1,00 -0,22

item4 0,33 0,05 1,00 -0,24 0,98 -0,75

item5 -0,04 0,05 0,98 -1,05 0,98 -0,86

item6 0,32 0,05 1,00 -0,02 1,00 0,08

item7 -0,66 0,05 0,98 -1,16 0,97 -1,06

item8 -0,57 0,05 1,00 0,09 1,02 0,85

item9 -0,40 0,05 1,01 0,47 1,01 0,38

item10 -0,33 0,05 1,01 0,57 1,01 0,66

item11 -0,15 0,05 0,99 -0,79 0,98 -0,81

item12 -0,83 0,05 0,99 -0,64 0,99 -0,21

item13 0,25 0,05 1,01 0,91 1,02 0,92

item14 0,49 0,05 1,00 0,20 1,00 -0,13

item15 -0,09 0,05 0,98 -1,07 0,98 -0,90

item16 0,37 0,05 1,02 1,19 1,03 1,28

item17 1,22 0,06 1,01 0,20 1,02 0,43

item18 -0,45 0,05 1,01 0,56 1,00 0,02

item19 0,15 0,05 1,02 1,04 1,02 1,09

item20 0,18 0,05 1,01 0,36 1,00 -0,04

item21 -0,16 0,05 0,99 -0,39 0,99 -0,74

item22 0,10 0,05 0,99 -0,35 0,99 -0,44

item23 0,83 0,05 1,00 -0,03 1,00 -0,07

item24 -0,52 0,05 1,01 0,66 1,01 0,56

item25 0,78 0,05 1,01 0,29 1,01 0,29

item26 -0,16 0,05 1,00 0,08 1,01 0,33

item27 0,34 0,05 0,99 -0,78 0,99 -0,46

item28 0,27 0,05 0,98 -1,25 0,99 -0,57

item29 0,57 0,05 1,01 0,35 1,01 0,43

item30 -0,53 0,05 0,99 -0,82 0,98 -0,68

item31 0,01 0,05 1,02 1,02 1,02 1,09

item32 0,16 0,05 1,02 1,16 1,03 1,61

item33 0,03 0,05 0,99 -0,87 0,98 -0,77

item34 0,52 0,05 1,00 -0,24 0,98 -0,86

item35 0,26 0,05 0,99 -0,55 0,99 -0,59

item36 -0,51 0,05 0,99 -0,67 0,99 -0,43

item37 0,39 0,05 1,00 -0,28 0,98 -0,68

item38 0,33 0,05 1,02 1,05 1,03 1,38

item39 0,54 0,05 0,99 -0,36 0,98 -0,89

item40 -0,37 0,05 1,02 1,15 1,01 0,63

item41 -0,71 0,05 0,99 -0,30 0,98 -0,76

item42 -0,07 0,05 1,00 -0,01 1,00 -0,13

item43 0,12 0,05 1,00 -0,05 1,01 0,35

item44 -0,25 0,05 0,99 -0,50 1,00 -0,07

item45 0,59 0,05 1,00 0,15 1,00 0,08

item46 0,17 0,05 1,01 0,34 1,01 0,67

item47 -0,49 0,05 1,00 -0,22 0,99 -0,41

item48 -0,04 0,05 1,00 0,05 0,99 -0,50

item49 0,23 0,05 0,99 -0,44 0,99 -0,47

item50 -0,06 0,05 1,00 0,06 1,00 -0,11

item51 -0,49 0,05 1,01 0,49 1,01 0,30

item52 -0,55 0,05 1,01 0,67 1,01 0,29

item53 -0,55 0,05 1,02 0,99 1,01 0,59

item54 0,34 0,05 0,97 -2,00 0,95 -2,11

item55 -0,22 0,05 1,00 0,31 1,00 0,02

item56 -0,97 0,05 1,01 0,51 1,01 0,32

item57 0,22 0,05 1,00 0,10 0,99 -0,34

item58 -0,30 0,05 0,99 -0,69 0,99 -0,58

item59 0,03 0,05 0,98 -1,11 0,98 -0,85

item60 0,75 0,05 0,99 -0,48 0,98 -0,67

item61 -0,00 0,05 0,99 -0,95 0,98 -0,91

item62 -0,54 0,05 1,01 0,49 1,01 0,39

item63 -0,19 0,05 1,01 0,90 1,01 0,43

item64 -0,54 0,05 0,98 -1,02 0,98 -0,69

item65 0,46 0,05 1,01 0,47 1,00 0,04

item66 -0,18 0,05 0,97 -1,87 0,96 -1,76

item67 0,27 0,05 0,98 -0,92 0,98 -0,72

item68 -0,64 0,05 1,00 0,00 1,00 0,07

item69 -0,51 0,05 1,02 1,27 1,03 1,32

item70 0,32 0,05 1,00 -0,08 1,01 0,33

item71 0,31 0,05 0,99 -0,66 0,98 -0,95

item72 -0,45 0,05 1,01 0,53 1,01 0,66

item73 0,83 0,05 1,01 0,50 1,01 0,43

item74 0,57 0,05 1,00 0,16 1,00 -0,03

item75 -0,78 0,05 0,98 -0,84 0,97 -1,10

item76 -0,26 0,05 0,99 -0,42 0,99 -0,42

item77 -0,72 0,05 0,99 -0,76 0,99 -0,35

item78 0,20 0,05 1,02 1,42 1,03 1,47

item79 0,22 0,05 1,00 0,10 0,99 -0,37

item80 -0,15 0,05 0,98 -1,17 0,99 -0,72

item81 -0,47 0,05 0,99 -0,64 0,98 -1,10

item82 -0,21 0,05 1,01 0,96 1,02 1,01

item83 -0,32 0,05 1,01 0,54 1,02 0,84

item84 -0,87 0,05 1,00 0,14 1,00 -0,13

item85 -0,13 0,05 1,01 0,43 1,01 0,43

item86 0,69 0,05 1,01 0,42 1,03 1,09

item87 0,23 0,05 1,02 1,42 1,03 1,26

item88 -0,37 0,05 0,99 -0,40 0,98 -1,11

item89 0,63 0,05 1,00 -0,10 0,99 -0,42

item90 0,09 0,05 1,02 1,37 1,02 1,01

item91 0,33 0,05 0,98 -0,94 0,99 -0,57

item92 0,04 0,05 1,00 0,01 1,00 -0,06

item93 0,18 0,05 1,01 0,49 1,01 0,35

item94 -0,58 0,05 0,98 -1,27 0,98 -0,64

item95 0,56 0,05 1,01 0,38 1,00 0,14

item96 0,18 0,05 1,03 1,95 1,03 1,41

item97 0,78 0,05 1,03 1,36 1,04 1,34

item98 -0,34 0,05 0,98 -1,35 0,98 -0,91

item99 0,31 0,05 0,99 -0,31 0,99 -0,27

item100 0,08 0,05 1,00 0,17 1,00 0,03

==================================================================================
===============

SCORE TABLE
==================================

Score Theta Std. Err

----------------------------------

0,00 -5,9063 1,83

1,00 -4,6939 1,01

2,00 -3,9885 0,72

3,00 -3,5708 0,59

4,00 -3,2707 0,51

5,00 -3,0351 0,46

6,00 -2,8402 0,42

7,00 -2,6733 0,39

8,00 -2,5269 0,37

9,00 -2,3962 0,35

10,00 -2,2778 0,34

11,00 -2,1693 0,32

12,00 -2,0689 0,31

13,00 -1,9755 0,30

14,00 -1,8878 0,29

15,00 -1,8051 0,28

16,00 -1,7267 0,28

17,00 -1,6521 0,27

18,00 -1,5808 0,26

19,00 -1,5124 0,26

20,00 -1,4467 0,25

21,00 -1,3833 0,25

22,00 -1,3221 0,25

23,00 -1,2627 0,24

24,00 -1,2051 0,24

25,00 -1,1490 0,24

26,00 -1,0944 0,23

27,00 -1,0410 0,23

28,00 -0,9889 0,23

29,00 -0,9378 0,22

30,00 -0,8877 0,22

31,00 -0,8385 0,22

32,00 -0,7902 0,22

33,00 -0,7426 0,22

34,00 -0,6957 0,22

35,00 -0,6495 0,21

36,00 -0,6038 0,21

37,00 -0,5587 0,21

38,00 -0,5140 0,21

39,00 -0,4698 0,21

40,00 -0,4259 0,21

41,00 -0,3824 0,21

42,00 -0,3392 0,21

43,00 -0,2963 0,21

44,00 -0,2536 0,21

45,00 -0,2111 0,21

46,00 -0,1688 0,21

47,00 -0,1266 0,21

48,00 -0,0845 0,21

49,00 -0,0425 0,20

50,00 -0,0004 0,20

51,00 0,0416 0,20

52,00 0,0836 0,21

53,00 0,1257 0,21

54,00 0,1679 0,21

55,00 0,2102 0,21

56,00 0,2527 0,21

57,00 0,2954 0,21

58,00 0,3384 0,21

59,00 0,3816 0,21

60,00 0,4251 0,21

61,00 0,4689 0,21

62,00 0,5132 0,21

63,00 0,5579 0,21

64,00 0,6031 0,21

65,00 0,6487 0,21

66,00 0,6950 0,22

67,00 0,7419 0,22

68,00 0,7896 0,22

69,00 0,8379 0,22

70,00 0,8872 0,22

71,00 0,9373 0,22

72,00 0,9884 0,23

73,00 1,0406 0,23

74,00 1,0940 0,23

75,00 1,1487 0,24

76,00 1,2048 0,24

77,00 1,2625 0,24

78,00 1,3219 0,25

79,00 1,3832 0,25

80,00 1,4467 0,25

81,00 1,5125 0,26

82,00 1,5809 0,26

83,00 1,6523 0,27

84,00 1,7269 0,28

85,00 1,8054 0,28

86,00 1,8882 0,29

87,00 1,9760 0,30

88,00 2,0696 0,31

89,00 2,1700 0,32

 90,00 2,2786 0,34

91,00 2,3972 0,35

92,00 2,5280 0,37

93,00 2,6745 0,39

94,00 2,8415 0,42

95,00 3,0366 0,46

96,00 3,2724 0,51

97,00 3,5726 0,59

98,00 3,9905 0,72

99,00 4,6960 1,01

100,00 5,9086 1,83

==================================

SCALE QUALITY STATISTICS

==================================================

Statistic Items Persons

--------------------------------------------------

Observed Variance 0,2060 0,6736

Observed Std. Dev. 0,4538 0,8207

Mean Square Error 0,0024 0,0495

Root MSE 0,0488 0,2224

Adjusted Variance 0,2036 0,6241

Adjusted Std. Dev. 0,4512 0,7900

Separation Index 9,2456 3,5525

Number of Strata 12,6607 5,0700

Reliability 0,9884 0,9266

==================================================

Felhasznált irodalom és segédanyagok:

https://www.publichealth.columbia.edu/research/population-health-methods/item-response-theory
https://www.sciencedirect.com/topics/psychology/item-characteristic-curve

https://www.edisonos.com/blog/understanding-item-response-theory

https://www.youtube.com/watch?v=DeM3iINcftY&t=675s