Kegiatan yang harus dilakukan untuk meningkatkan mutu soal yang telah ditulis

Proses pengumpulan, peringkasan, dan penggunaan informasi dari jawaban siswa untuk membuat keputusan tentang setiap penilaian.

1. Untuk mengkaji dan menelaah setiap butir soal agar diperoleh soal yang bermutu sebelum soal digunakan 2. Membantu meningkatkan tes melalui revisi atau membuang soal yg tidak efektif 3. Mengetahui informasi diagnostik pada siswa apakah mereka sudah/belum memahami materi yang telah diberikan

Apakah fungsi soal sudah tepat?

Apakah soal sudah memiliki tingkat kesukaran yang tepat?

Apakah soal bebas dari hal-hal yang tidak relevan ?

Apakah pilihan jawabannya efektif?

Linn dan Gronlund (1995: 315)

Tekhnis Editorial Isi

Ditinjau dari segi

Ditelaah dari segi : Tingkat kesukaran Daya pembeda Reliabilitas

Ditinjau dari segi

kalkulator scientifics atau kalkulator statistik, misalnya seperti Casio fx - 3600P

EXCEL SPSS ITEMAN ANATES ASCAL BILOG

Butir-buti soal tes hasil belajar dapat dinyatakan baik, apabila butirbutir soal memiliki derajat kesukaran item sedang atau cukup

Tes Pilihan Ganda

Panduan analisis butir soal, Departemen pendidikan Nasional (2008)

Tes Uraian

Untuk soal pilihan ganda

Untuk soal uraian

Validitas Item

(Sumarna. 2004)

Reliabilitas

Untuk mengetahui tingkat ketepatan dan keajegan (consistency) skor tes.

Tekhnik belah dua

Tekhnik non belah dua

Distraktor
Distraktor adalah suatu pola yang menggambarkan bagaimana peserta tes menentukan pilihan jawabannya terhadap kemungkinankemungkinan jawaban yang telah dipasangkan pada setiap butir item. Bertujuan untuk mengecoh mereka yang kurang mampu (tidak tahu) untuk dibedakan dengan yang mampu (lebih tahu). Distraktor dinyatakan telah dapat menjalankan fungsinya dengan baik apabila distraktor tersebut sekurang-kurangnya sudah dipilih oleh 5% dari seluruh peserta tes.

Pengecoh harus berfungsi

Soal yang kurang baik:

2/3 + 1/5 = A. 10 B. 15 C. 20 D. 13/15

Catatan:
Pengecoh A, B, dan C kemungkinan tidak berfungsi karena tidak umum dijawab oleh siswa

Pengecoh harus berfungsi

Soal yang baik:

2/3 + 1/5 = . A. 3/8 B. 3/5 C. 2/15 D. 13/15

Responsi Butir Soal

Responsi Butir Soal Stelah Skoring

Dari hasil analisa terhadap taraf kesukaran butir, maka soal nomor 1, 2, 3, 4, 6, 7, dan 8 termasuk ke dalam kategori soal mudah dan sisanya soal nomor 5, 8, dan 10 termasuk ke dalam kategori soal sukar.

Daya Pembeda Kelompok Atas

Daya Pembeda Kelompok bawah

Hasil Daya Pembeda

Kategori Indeks Daya Pembeda

Hasil Fungsi Distraktor pada soal no.1

Dengan melihat hasil perhitungan di samping maka distraktor yang berfungsi hanya opsi B, karena telah mencapai hasil > 0.05. Sedangkan yang 0.8 tidak dihitung karena merupakan kunci jawabannya.

Contoh
Analisis untuk 40 butir soal yang diujikan pada 98 peserta tes. Hasil analisis butir soal dengan program iteman ditampilkan secara keseluruhan Keterangan Tabel Hasil Analisis dgn PROGRAM ITEMAN: 1.Seq. No. adalah nomor urut butir soal dalam file data 2.Scala item = nomor urut butir soal dalam skala (tes/subset) 3.Prop. Correct (indeks tingkat kesukaran) = proporsi siswa (peserta tes) yang menjawab benar butir soal. Nilai ekstrim (mendekati nol atau satu) menunjukkan bahwa butir soal tersebut terlalu sukar atau terlalu mudah untuk peserta tes.
11/25/2009 file_nrustaman@yahoo.com_09 24

4. Biser (indeks daya pembeda soal) menggunakan koefisien korelasi biserial. Nilai positif menunjukkan peserta tes yang menjawab benar butir soal, mempunyai skor yang relatif tinggi dalam tes/skala tersebut. Sebaliknya nilai negatif menunjukkan bahwa peserta tes yang menjawab benar butir soal, memperoleh skor yang relatif rendah dalam tes/skala tersebut. Dalam beberapa buku evaluasi, hasil analisis ini mewakili hasil analisis validitas butir soal. 5. Point-Biser adalah indeks daya pembeda soal dan pilihan jawaban (alternatif) dengan menggunakan koefisien korelasi point biserial rpbi. Nilai -9,000 artinya statistik butir soal atas pilihan jawaban tidak dapat dihitung. Hal ini terjadi karena peserta tes tidak ada yang memilih pilihan jawaban tersebut. 6. Kunci jawaban (Key) ditandai dengan tanda *. 7. Prop. Endorsing adalah proporsi siswa yang menjawab benar.

MicroCAT (tm) Testing System Copyright (c) 1982, 1984, 1986, 1988 by Assessment Systems Corporation Item and Test Analysis Program -- ITEMAN (tm) Version 3.00 Item analysis for data from file UCT.TXT Page 1
Item Statistics ----------------------Prop. Point Correct Biser. Biser.
------0.551 -----0.506 -----0.402

Seq. No. Key ---1

Scale -Item ----0-1

Alt. ----A B C D Other

Alternative Statistics ----------------------------------Prop. Point Endorsing. Biser. Biser.

--------0.092 0.551 0.041 0.316 0.000 ------ 0.334 0.506 - 0.489 - 0.287 - 9.000 -------- 0.191 0.402 * - 0.217 - 0.220 - 9.000

0-7

1.000

-9.000

-9.000

A B C D Other

0.000 0.000 0.000 1.000 0.000

- 9.000 - 9.000 - 9.000 - 9.000 - 9.000

- 9.000 - 9.000 - 9.000 - 9.000 - 9.000

*
26

MicroCAT (tm) Testing System Copyright (c) 1982, 1984, 1986, 1988 by Assessment Systems Corporation Item and Test Analysis Program -- ITEMAN (tm) Version 3.00 Item analysis for data from file UCT.TXT Page 2
Item Statistics ----------------------Prop. Point Correct Biser. Biser. ------0.408 -----0.378 -----0.299 Alternative Statistics ----------------------------------Prop. Point Endorsing. Biser. Biser. --------0.010 0.561 0.408 0.020 0.000 0.337 0.020 0.143 0.500 0.000 -----0.763 - 0.396 0.378 - 0.234 - 9.000 0.173 0.471 - 0.291 - 0.052 - 9.000 -------0.206 - 0.314 0.299 * - 0.081 - 9.000 0.134 0.164? - 0.188 - 0.041 * - 9.000

Seq. Scale No. -Item Key -------22 0-22

Alt. ----A B C D Other A B C D Other

31

0-31

0.500

-0.052

-0.041

CHECK THE KEY D was specified, B works better

There were 98 examinees in the data file. Scale Statistics ---------------Scale: 0 ------N of Items 40 N of Examinees 98 Mean 17.469 Variance 38.208 Std. Dev. 6.181 Skew 0.572 Kurtosis -0.526 Minimum 6.000 Maximum 32.000 Median 16.000 Alpha 0.807 SEM 2.713 Mean P 0.437 Mean Item-Tot. 0.352 Mean Biserial 0.47
28

Keterangan
1. Kriteria Tingkat kesukaran (prop,correct) dan Validitas Butir Soal (Biser) disesuaikan dengan kriteria yang digunakan. 2. Kualitas pengecoh dapat dilihat dari Daya Pembeda, dan hasilnya ditunjukkan dari analisis Point Biserial yang ada di Alternative Statistics. Pengecoh yang baik jika hasil point biser negatif artinya: yang terkecoh adalah yang kelompok bawah. Sebaliknya, kunci jawaban yang baik jika daya pembedanya positif. 3. Reliabilitas seluruh naskah dapat dilihat dari nilai alpha.

TAFSIRAN HASIL ANALISIS BUTIR SOAL dengan PROGRAM ITEMAN

Butir soal no.1: Kunci jawaban dan pengecoh baik. Butir soal no.7: Kunci jawaban D, dengan prop. endorsing (proporsi siswa yang menjawab benar) = 1 yang berarti semua siswa menjawab benar. Pengecoh A, B, dan C tidak berfungsi. Butir soal no.22: Pengecoh A harus direvisi karena hasil Point Biser (+) yang terkecoh kelompok atas.

Butir soal no.31: Pengecoh A dan B harus direvisi karena Hasil Point Biser (+) yang terkecoh kelompok atas. Kunci jawaban adalah D (hasilnya negatif/kunci tidak berfungsi) Kunci jawaban diminta dicek, karena hasil yang ditunjukkan B bagus.

1. Skor data
Average/Mean = 17.48 Deviation Standard = 6.20 Folder Name: E:\LIMITTED TRY-OUT\LIMITTED TRY-OUT DATA.ANA
Nomor Nomor Urut Subyek Nama Subyek | 1 1 2 2 3 3 4 4 5 5 6 6 7 7 8 8 9 9 10 10 dst sd 98 No. Butir Baru -----> No. Butir Asli ---> Kunci -> 1 2 3 4 5 6 7 8 9 10 Skor 1 1 b 1 1 1 1 1 1 1 1 1 2 2 d 1 1 1 1 1 3 3 c 1 1 1 1 1 1 1 1 4 4 c 1 1 1 1 1 1 1 1 5 5 d 1 1 6 6 b 1 1 1 7 7 d 1 1 1 1 1 1 1 1 1 1 8 8 a 1 1 1 1 1 1 1 1 - 1 dst sd 40 dst sd 40 dst sd 40 dst sd 40 dst sd 40 dst sd 40 dst sd 40 dst sd 40 dst sd 40 dst sd 40 dst sd 40 dst sd 40 dst sd 40

19 17 25 30 19 32 24 19 24 29

2. Reliabilitas
Mean = 17.48 Standard Deviation = 6.20 XYCorrelation = 0.68 Reliability of Test = 0.81 Folder Name : E:\LIMITTED TRY-OUT\DATA OF LIMITTED TRY-OUT.ANA
No.Urut No. Subyek Kode/Nama Subyek Skor Ganjil Skor Genap Skor Total 1 6 6 16 16 32 2 12 12 19 13 32 3 4 4 16 14 30 4 23 23 15 15 30 5 38 38 16 14 30 6 10 10 15 14 29 7 48 48 13 16 29 8 34 34 13 15 28 9 45 45 13 15 28 10 19 19 14 13 27 dst sd 98 file_nrustaman@yahoo.com_09

32

3. DAYA PEMBEDA
Number of Subjects = 98 Upper/Lower Groups (n) = 26 Number of test items = 40
Folder Name: E:\LIMITTED TRY-OUT\DATA OF LIMITTED TRY-OUT .ANA
No Butir Baru No Butir Asli Kel. Atas Kel. Bawah Beda 1 1 22 9 13 2 2 13 1 12 3 3 19 8 11 4 4 13 2 11 5 5 13 1 12 6 6 16 3 13 7 7 26 26 0 8 8 20 5 15 9 9 9 0 9 10 10 25 14 11 dst sd 40 Indeks DP (%) 50.00 46.15 42.31 42.31 46.15 50.00 0.00 57.69 34.62 42.31

4. TINGKAT KESUKARAN
Number of Subject = 98 Number of Test Items= 40

Folder Name: E:\LIMITTED TRY-OUT\DATA UOF LIMITTED TRY-OUT.ANA

New number Original Number # Correct Diff.Index(%) 1 1 54 55.10 2 2 21 21.43 3 3 47 47.96 4 4 29 29.59 5 5 18 18.37 6 6 35 35.71 7 7 98 100.00 8 8 53 54.08 9 9 10 10.20 10 10 77 78.57 etc up to 40 Interpretation Average Difficult Average Difficult Difficult Average Very easy Average Very Difficult Easy

Note:
Interpretation of Test Item Difficulty index is adapted to the criterion being used.

5. KORELASI SKOR BUTIR DENGAN SKOR TOTAL VALIDITAS BUTIR SOAL

Jumlah Subyek= 98 Butir Soal = 40

Nama berkas: E:\UJI COBA TERBATAS\DATA UJI TERBATAS.ANA

No Butir Baru No Butir Asli 1 1 2 2 3 3 4 4 5 5 6 6 7 7 8 8 9 9 10 10 dst sd 40 Korelasi 0.402 0.507 0.369 0.373 0.514 0.391 NAN 0.470 0.564 0.335 Signifikansi Sangat Signifikan Sangat Signifikan Signifikan Signifikan Sangat Signifikan Signifikan NAN Sangat Signifikan Sangat Signifikan Signifikan

Catatan:
Kriteria signifikansi tidaknya butir soal disesuaikan dengan hasil korelasi product moment sesuai dengan taraf signifikansi yang diinginkan.

6. KUALITAS PENGECOH
Jumlah Subyek= 98 Butir Soal= 40
Nama berkas: E:\UJI COBA TERBATAS\DATA UJI TERBATAS.ANA
No Butir Baru No Butir Asli 1 1 2 2 3 3 4 4 5 5 6 6 7 7 8 8 9 9 10 10 a 9+ 1214++ 0-59--11+ 0 53** 15+ 3b 54** 6-25+ 57--5-35** 0 28-37+ 77** c 459--47** 29** 16+ 38-0 9+ 36++ 17--d 31--21** 12+ 12+ 18** 14+ 98** 8+ 10** 1-* 0 0 0 0 0 0 0 0 0 0

Keterangan: ** : Kunci Jawaban ++: Sangat Baik + : Baik - : Kurang Baik -- : Buruk ---: Sangat Buruk

Catatan:
Hasil analisis kualitas pengecoh yang ditunjukkan berdasarkan banyaknya peserta tes yang menjawab benar, tetapi belum memperlihatkan apakah yang terkecoh kelompok atas atau kelompok bawah. Pengecoh yang baik adalah jika yang terkecoh adalah kelompok bawah.
11/25/2009 file_nrustaman@yahoo.com_09 36

Sekian & Terima Kasih