TOPIC 9

Item Analysis
ITEM ANALYSIS
A process which examines the responses to
individual test items or questions in order to
assess the effectiveness of the items/questions
and the test as a whole

Focus on
 Item difficulty – Difficulty index (Indeks Kesukaran)
 Item discrimination- Discrimination index
(Indeks Diskriminasi)
 Distractor analysis – effectiveness of distractors
Difficulty Index (MCQ)
- indicates how difficult an item or a question is.
Procedure:
1. Mark the answer scripts and obtain the total score for each script
2. Arrange the answer scripts from the highest score to the lowest
score.
3. Take out 27% of the total scripts from the High Marks Group and
another 27% of the total scripts from the Low Marks Group

Total scripts = 45 27% x 45 = 12.15 = 12 scripts

High marks group = 12 scripts

Low marks group = 12 scripts
4. Count the number of students from the both groups who get the
correct answer.
SS
Example:
1
What do you call the fertile area in the
2
HIGH MARK desert?

GROUP (12) (A) mirage

11 (B) oasis

12 (C) water hole

(D) polder
A B C D Blank
High Mark Group (n =12) 0 11 1 0 0
34 Low Mark Group ( n = 12) 3 2 3 4 0
35
LOW MARK
Total No. of SS with correct ans
GROUP (12) Difficulty Index =
(p) Total No. of SS who take the test
45
= R/T = 13/24 = .54
Interpretation of p (Rule of Thumb)
>.70 = Easy
.30 - .69 = Moderate
<.29 = Difficult

0.00 1.00

DIFFICULT EASY
Task:
Compute the Difficulty Index

Which of the following is the most useful in weather forcasting?

(A) Anemometer (B) Thermometer (C) Barometer* (D) Rain gauge
Total No. of SS = 36

Options A B C* D Blank
High Mark Group (n =10) 0 2 7 1 0

Low Mark Group (n = 10) 0 2 4 3 1

* Key

P = 11/20 = .55 (Moderate difficulty)

Discrimination Index (MCQ)
- indicates the extent an item/a question differentiate
between good and poor students

RH - R L RH = No. of SS in High Mark Group with correct ans

D= RL = No. of SS in Low Mark Group with correct ans.
½T
T = Total No. of SS in the analysis

Options A B C D Blank
• High Mark Group (n =12) 0 11 1 0 0
• Low Mark Group ( n = 12) 3 2 3 4 0

11 - 2 9
D= = = .75 (High discrimination)
½ (24) 12
Interpretation of D – Rule of Thumb

D value Description Suggestion

≥.40 High Qn. is retained
discrimination
.20 - .39 Moderate Qn. is checked &
discrimination revised
.10 - .19 Low Qn. is removed or
discrimination rewritten
.00 - Negative No discrimination Qn. is removed

Blood & Budd (1972)

Task:
Compute the Discrimination Index

Which of the following is the most useful in weather forcasting?

(A) Anemometer (B) Thermometer (C) Barometer* (D) Rain gauge
Total No. of SS = 36
Options A B C* D Blank
High Mark Group (n =10) 0 2 7 1 0

Low Mark Group (n = 10) 0 2 4 3 1

* Key 7–4 3
D =-------------- = ---- = .30 (Moderate discrimination)
½ (20) 10
Discussion
(1) If a question has a high difficulty index
(approaching 1.00),
(a) what can you say about the question?
(b) what can you say about its item discrimination?

(2) If a question has a low difficulty index

(approaching 0),
(a) what can you say about the question?
(b) what can you say about its item discrimination?
Relationship Between Difficulty Index &
Discrimination Index

1.00

D 0.50

0.00
Difficult 0.1 0.5 1.0 Easy
p
Exercise 1

Can you compute the D & p ?

No. of SS with Correct ans.

Item (1) (2) (3)

High mark grp (n = 10) 0 10 10

Low mark grp (n = 10) 0 0 10

What conclusion can you draw about the relationship

between D & p from the above exercise?
Exercise 2
Can you compute the D & p ?
No. of SS with Correct ans.

Item (1) (2) (3)

High mark grp (n = 20) 18 3 4

Low mark grp (n = 20) 3 0 6

What can you say about each item?

Distractor Analysis

The effectiveness of the distractors can be

examined by visual inspection.

An effective distracter should

(a) attract some responses
(b) attract more responses from poor students than
good students (i.e. discriminate negatively)
(c) attract less responses than the key should
Exercise 3
Examine the effectiveness of each item based on
the difficulty index, discrimination index and
distractor analysis.

Item 1

Option A B C* D

High mark group (20) 4 2 13 1

Low mark group (20) 2 6 5 7
* key
Difficulty Index (p)
= R/T = 18/40 = 0.45 (Moderate difficulty)

Discrimination index (D)

= (RH – RL)/½T = (13 - 5)/20 = 0.4 (High)

Distractor Analysis
A : (4 – 2 /20 = + 0.1 (No discrimination.)
B : (2 – 6)/20 = - 0.2 (Moderate discrimination)
D : (1 – 7)/20 = - 0.3 (Moderate discrimination)
Item 2

Option A B C D*
High mark group (20) 7 4 1 8
Low mark group (20) 3 3 9 5

Item 3

Option A B C* D
High mark group (20) 0 0 13 7
Low mark group (20) 0 0 11 9
Item 4

Option A* B C D
High mark group (20) 14 4 2 0
Low mark group (20) 8 7 5 0

Item 5

Option A B* C D
High mark group (20) 7 13 0 0
Low mark group (20) 13 7 0 0
Analisis Item untuk Soalan jenis Esei
Setakat ini, kami telah melihat analisis item untuk MCQ.
Dengan pengubahsuaian, analisis item boleh dijalankan
untuk SOALAN ESEI

Indeks Kesukaran

P= Skor Purata
Julat skor yang mungkin*

Indeks Diskriminasi
Markah Purata Kumpulan Markah Tinggi – Markah Purata
D= Kumpulan Markah Rendah
Julat skor yang mungkin*

* Julat Markah = Markah maksimum yang mungkin – Markah mungkin

min
Satu contoh:
Sebuah kelas seramai 36 orang pelajar telah menjawab soalan esei jawapan
pendek berikut yang mempunyai 4 markah:

Berikan EMPAT (4) kelebihan soalan aneka pilihan sebagai alat penilaian. (4
markah)

Pemilihan sampel untuk pengiraan:

Kumpulan Markah Tinggi = 27% x 36 = 9.72 = 10 orang pelajar

Kumpulan Markah Rendah = 27% x 36 = 9.72 = 10 orang pelajar

Jumlah = 20 orang pelajar

Indeks Kesukaran Pengkomputeran (p)
Markah untuk 20 orang pelajar
markah Bilangan pelajar bagi setiap markah Jumlah
markah
4 5 20
3 6 18
2 5 10
1 3 3
0 1 0
Total 51
Purata markah 51/20 = 2.55

P = Skor Purata/ Julat skor yang mungkin’

= 2.55 / (4 – 0)
= 2.55/4
= 0.64 (Kesukaran Sederhana) – Rujuk slaid #59.
 Indeks Diskriminasi Pengkomputeran (D)
Markah Agihan yang diperolehi oleh Pelajar

skor 0 1 2 3 4 Total Skor Purata

Kumpulan Markah Tinggi 0 0 1 4 5 34 34/10

(n = 10) = 3.4
Kumpulan Markah Rendah 1 3 4 2 0 17 17/10
(n = 10) = 1.7

Jumlah untuk Kumpulan Markah Tinggi = (5x4) + (4x3) + (1 x 2) = 20 +12 + 2 = 34

Jumlah untuk Kumpulan Markah Rendah = (2 x 3) + (4 x 2) + (3 x 1) + (1 x 0) = 6 + 8 + 3 + 0 = 17

Markah Purata Kumpulan Markah Tinggi – Markah Purata Kumpulan Markah Rendah
D =
Julat skor yang mungkin*

= (3.4 – 1.7)/(4 – 0)
= 1.7/4
= 0.43 (Diskriminasi yang tinggi) – Refer to slide #62
Kegunaan Analisis Item Kepada Guru
(1) Analisis item boleh memberikan maklumat yang berguna untuk
perbincangan kelas tentang prestasi pelajar. Perbincangan akan
lebih membuahkan hasil kerana maklum balas guru adalah
objektif dan bermaklumat. Berdasarkan hasil analisis item, guru
boleh menjelaskan sebarang salah faham dalam pembelajaran
pelajar, seterusnya meningkatkan nilai pengajaran penilaian.

(2) Data analisis item boleh digunakan untuk memilih atau menyemak
item ujian untuk kegunaan masa hadapan. Ini akan
meningkatkan kualiti item ujian dan kertas ujian yang akan
digunakan pada masa hadapan. Ia juga menjimatkan masa
guru dalam menyediakan item ujian untuk kegunaan masa
hadapan kerana item yang baik boleh disimpan di bank item.
(3) Data analisis item boleh digunakan untuk kerja pemulihan. Analisis
akan mendedahkan bidang-bidang tertentu yang menjadi
kelemahan pelajar. Guru boleh menggunakan maklumat tersebut
untuk memfokuskan kerja pemulihan secara langsung pada
bidang kelemahan tertentu.

(4) Data analisis item boleh mendedahkan kelemahan dalam pengajaran

dan memberikan maklumat berguna untuk menambah baik
pengajaran. Contohnya, item/tugasan yang gagal dijawab
dengan memuaskan oleh pelajar secara konsisten mungkin
mencadangkan keperluan untuk strategi pengajaran yang lebih
berkesan.

(5) Proses melakukan analisis item membantu meningkatkan kemahiran

guru dalam pembinaan ujian. Semasa guru menganalisis tindak
balas pelajar terhadap item, mereka menyedari kecacatan item
dan apa yang menyebabkannya. Apabila menyemak dan menulis
semula item, mereka memperoleh pengalaman dan
meningkatkan kemahiran mereka.
Berhati-hati dalam mentafsir keputusan
analisis item
(a) Indeks kesukaran tidak menunjukkan tahap kerumitan item. Ia
hanya menunjukkan tahap kesukaran item dari perspektif pelajar,
iaitu prestasi pelajar. Ia menunjukkan peratusan pelajar yang
mendapat item yang betul. Tahap kerumitan item merujuk kepada
tahap kognitif taksonomi yang digunakan, contohnya, Taksonomi
Bloom.

(b) Indeks diskriminasi tidak menunjukkan kesahan item. Indeks

diskriminasi yang tinggi hanya menunjukkan bahawa pelajar yang
memperoleh jumlah markah yang tinggi menunjukkan prestasi yang
lebih baik daripada mereka yang memperoleh jumlah markah yang
rendah dalam ujian. Kesahan item merujuk kepada sejauh mana
item menilai hasil pembelajaran yang dimaksudkan.
3. Indeks diskriminasi tidak selalu menjadi penunjuk kualiti item.
Sebagai contoh, indeks diskriminasi yang rendah tidak semestinya
menunjukkan item yang rosak. Bagi ujian rujukan kriteria, item
yang tidak mendiskriminasi mungkin menunjukkan bahawa semua
pelajar telah mencapai kriteria yang ditetapkan oleh guru. Item
tanpa diskriminasi mungkin menunjukkan bahawa item itu terlalu
mudah atau terlalu sukar. Kadangkala, item ini diperlukan dalam
ujian untuk memastikan bahawa ujian mengukur sampel yang
mewakili kandungan kurikulum. Jadi jika barang tersebut bebas
daripada kekaburan dan kecacatan teknikal yang lain, ia harus
disimpan.

4. Hasil analisis item tradisional adalah tentatif. Mereka dipengaruhi

oleh jenis dan bilangan pelajar yang diuji dan proses pengajaran
dan pembelajaran. Jika item yang sama digunakan berulang kali,
analisis item hendaklah dijalankan selepas setiap pentadbiran
penggunaannya.