Professional Documents
Culture Documents
Abstract
In educational evaluation, questions created by instructors often lack the use of items
that have been tested, experimented with, analyzed, and revised before being presented to
learners, making it uncertain whether the quality of the questions is good or not. JLPT offers
question formats that can be adapted by instructors when creating Japanese language
questions. Therefore, the researcher is interested in analyzing JLPT N4 items to assess their
quality in terms of discriminative power, difficulty level, and distractor patterns using statistical
formulas. This analysis can then serve as a model for instructors when creating Japanese
language questions. This quantitative research employed an experimental method and was
conducted with 21 participants, utilizing data collection through documentation. The research
findings reveal that, in terms of difficulty level, 57% of the questions were categorized as easy,
34% as moderate, and the remaining 9% as difficult. Regarding discriminative power, 51%
were classified as weak, 26% as fair, 17% as good, and 6% as very good. In terms of distractor
patterns, 69% of the distractors were found to be acceptable or retained, while 31% were
rejected or considered better replaced with other distractors due to being excessively
misleading or lacking appeal.
Benar
Salah
Skor
Keterangan
tingkat kesulitan. Tujuannya adalah N
No soal Salah
untuk menentukan sejauh mana butir
soal memerlukan pemahaman yang baik 1 33 2 33 27,32
dari peserta. 2 32 3 32 26,32.34
e. Mencari DP dengan rumusan statistik 3 31 4 31 26,30,31,35
4 31 4 31 26,29,32,34
D = (ΣBA / nA) – (ΣBB / nB)
5 29 6 29 26,28,30,31,32,34
Pada tahap ini, masing-masing butir soal 6 29 6 29 26,27,28,31,34,35
dievaluasi untuk mengukur sejauh mana 7 28 7 28 25,26,28,30,31,32,33
butir tersebut mampu membedakan 3,25,27,29,31,32,33,3
8 27 8 27
antara peserta yang memiliki 5
kemampuan berbeda. Ini dilakukan 16,26,27,31,32,33,34,
9 27 8 27
35
dengan membandingkan jumlah peserta
25,26,28,29,30,31,32,
yang menjawab benar dengan yang 10 26 9 26
33,34
menjawab salah. 10,12,13,14,15,23,26,
11 26 9 26
f. Mencari PD mengacu kepada kaidah 32,34
yang berlaku yang dipaparkan pada teori 12 25 10 25
8,17,20,22,26,30,32,3
diatas. Pola distraksi merupakan fokus 3,34,35
17,21,24,25,26,27,28,
analisis terhadap opsi jawaban yang 13 24 11 24
29,31,33,34
sering dipilih oleh peserta selain 16,22,26,28,29,30,31,
jawaban yang benar. Identifikasi pola ini 14 24 11 24
32,33,34,35
membantu untuk memahami kesalahan 10,21,25,26,27,28,29,
15 23 12 23
umum yang mungkin terjadi. Pola 30,31,32,33,35
distraksi dapat membantu dalam 9,13,14,23,24,25,26,3
16 23 12 23
0,31,32,33,34
perbaikan butir soal agar lebih efektif 5,12,16,17,18,20,23,2
dalam mengukur pemahaman peserta. 17 23 12 23
4,26,29,30,31
g. Menyimpulkan hasil temuan dan 7,15,19,22,24,26,27,2
18 22 13 22
memberikan saran untuk penelitian 9,30,31,32,34,35
selanjutnya. 10,12,13,15,17,23,24,
19 21 14 21
25,26,27,32,33,34,35
7,8,11,17,18,20,21,23
3. Hasil dan Pembahasan 20 18 17 18 ,25,26,27,28,29,30,31
Pada analisis butir soal ini, peserta ,32,34
didik yang menjadi partisipan mengisi 10,14,16,17,18,20,23,
lembar soal simulasi ujian JLPT N4 terlebih 21 18 17 18 24,25,26,27,29,30,31,
dahulu yang telah disediakan pada lembar 32,34,35
google form, berisi 35 soal yang terdiri dari
5 soal merubah kanji ke hiragana, 3 soal Pada tabel diatas setelah diberikan
merubah hiragana ke kanji, 5 soal nilai untuk masing-masing peserta yang
menyelesaikan kalimat rumpang, 3 soal mengikuti ujian tersebut, dimana nilai
mencari kesamaan makna kalimat, 3 soal tersebut dinamakan dengan skor mentah,
mencari penggunaan kata yang tepat pada kemudian hasil nilainya digunakan sebagai
kalimat, 6 soal mengisi kalimat rumpang bahan untuk menganalisis tingkat kesulitan,
dengan partikel yang tepat, 3 soal menyusun daya pembeda dan pola distraksi. Pada tabel
skor mentah diatas ditemukan bahwa skor
mentah tertinggi adalah 33/35 dan skor sedangkan contoh perhitungan pada skor
mentah terendah adalah 18/35. Hasil skor bersih terendah adalah sebagai berikut.
mentah yang telah diurutkan kemudian Sk= ∑B - (∑S) / (O-1) = 18 – (17 / (4 - 1))
dirubah menjadi skor bersih agar dapat
= 12,3
merubah menjadi nilai akhir berskala 100.
Setelah nilai skor bersih diketahui
Skor bersih masing-masing peserta diambil
selanjutnya adalah merubah skor menjadi
dari soal pilihan ganda yang telah dikerjakan
nilai yang telah dikonversikan berdasarkan
dirubah menjadi 1 untuk jawaban benar dan
proporsi jawaban benar, dengan rumusan
0 untuk jawaban salah, kemudian dihitung
sebagai berikut:
dengan rumus sebagai berikut:
Nilai = (Sk.Aktual) / (Sk.Ideal) x 100
Sk= ∑B- (∑S)/(O-1) Sk. Aktual: Skor yang diperoleh siswa
Sk: Skor bersih Sk. Ideal: Skor jika jawaban benar semua.
ΣB: Jumlah jawaban yang benar Nilai inilah yang kemudian akan digunakan
ΣS: Jumlah jawaban yang salah; untuk mengklasifikasikan peserta didik
O: banyaknya option. Misal (a, b, c, d) = 4 mana yang memasuki kelas atas, kelas
Hasil perhitungan skor bersih dapat dilihat menengah dan kelas bawah. Berikut adalah
pada tabel berikut. tabel nilai yang telah dikonversi dari skor
bersih.
Tabel 2. Skor Bersih Tabel 3. Nilai Akhir
Benar
Salah
Skor
Pada tabel diatas didapat bahwa skor Pada tabel diatas didapat bahwa nilai
bersih tertinggi ada pada angka 32,3 dan skor akhir tertinggi ada pada angka 92,4 dan nilai
bersih terendah ada pada angka 12,3. Contoh akhir terendah ada pada angka 35,2. Contoh
perhitungan pada skor bersih tertinggi adalah perhitungan pada nilai akhir tertinggi adalah
sebagai berikut. sebagai berikut.
Sk = ∑B - (∑S) / (O-1) = 33 – (2 / (4 - 1)) Nilai = (Sk.Aktual) / (Sk.Ideal) x 100 =
33/35 x 100 = 92,4
= 32,3
kemudian contoh perhitungan untuk peserta Tabel 4. Tingkat Kesulitan
didik dengan nilai terendah adalah sebagai
Tafsiran
Tafsiran
No Soal
No Soal
Indeks
Indeks
berikut.
Nilai = (Sk.Aktual) / (Sk.Ideal) x 100 =
12.3/35 x 100 = 35,2.
Setelah diketahui nilai akhir dari 1 1.0 Mudah 19 0.92 Mudah
hasil ujian JLPT N4 ini maka selanjutnya 2 1.0 Mudah 20 0.75 Sedang
bisa dilakukan pengukuran tingkat kesulitan 3 1.0 Mudah 21 0.92 Mudah
soal. Untuk mengukur tingkat kesulitan soal, 4 1.0 Mudah 22 0.92 Mudah
pertama-tama peserta didik dipilah kedalam 5 0.92 Mudah 23 0.58 Sedang
tiga kelompok dengan mengacu kepada 6 1.0 Mudah 24 0.58 Sedang
daftar nilai yang telah diurutkan sebelumnya. 7 0.83 Mudah 25 0.67 Sedang
Persentase pembagiannya adalah 27% dari
8 0.92 Mudah 26 0.08 Sukar
peserta didik dengan nilai tertinggi menjadi
9 0.92 Mudah 27 0.50 Sedang
kelompok atas, 27% menjadi kelompok
10 0.83 Mudah 28 0.75 Sedang
bawah dan sisanya 46% menjadi kelompok
11 0.92 Mudah 29 0.58 Sedang
menengah. Karena jumlah peserta didik yang
mengikuti simulasi adalah 21 orang maka 6 12 0.83 Mudah 30 0.42 Sedang
orang teratas menjadi kelompok atas, 6 13 0.83 Mudah 31 0.33 Sedang
orang terbawah menjadi kelompok bawah 14 0.83 Mudah 32 0.25 Sukar
dan 9 orang yang berada di antara itu 15 0.83 Mudah 33 0.83 mudah
menjadi kelompok menengah. 16 0.83 Mudah 34 0.25 Sukar
Tingkat kesulitan (TK) dicari dengan 17 0.67 Sedang 35 0.58 Sedang
mengacu kepada jumlah jawaban benar dan 18 0.75 Sedang - - -
jawaban salah dari kelompok atas dan
kelompok bawah dengan rumus sebagai Pada tabel perhitungan diatas dapat
berikut. diketahui bahwa tingkat kesulitan (TK) soal
TK = (ΣBA + ΣBB) / (nA + nB) JLPT N4 berada pada rentan 0,08 sampai
Keterangan: 1,00, artinya terdapat soal yang dianggap
TK: Indeks tingkat kesulitan soal yang dicari sangat gampang, terbukti tidak ada peserta
ΣΒΑ: Jumlah siswa yang menjawab benar didik yang salah menjawab di pertanyaan itu,
dari kelompok atas namun ada juga soal yang dianggap sangat
ΣΒΒ: Jumlah siswa yang menjawab benar sulit, terbukti dengan peserta didik kelompok
dari kelompok bawah atas pun salah dalam menjawab pertanyaan
nΑ: Banyaknya siswa kelompok atas tersebut. Berikut adalah contoh perhitungan
nB: Banyaknya siswa kelompok bawah untuk TK mudah dan TK sukar
Penafsiran dari hasil perhitungan menggunakan rumus yang dipaparkan
dengan rumusan diatas adalah 1) jika hasil sebelumnya.
indeks nilainya berada pada 0,00 - 0,25 maka TK mudah = ( (6 + 6) / (6 + 6) ) = 1,00
soal dikategorikan sukar, 2) jika hasil indeks TK sukar = ( (1 + 0) / (6+6) ) = 0,08
nilainya berada pada 0,26 - 0,75 maka soal Berdasarkan data pada tabel diatas
dikategorikan sedang, dan 3) jika hasil bisa dilihat bahwa terdapat 20 soal atau 57%
indeks nilainya berada pada 0,76 - 1,00 maka soal berstatus mudah, 12 soal atau 34% soal
termasuk kategori mudah. Berikut adalah berstatus sedang, dan sisanya 2 soal atau 9%
hasil analisis tingkat kesulitan (TK) yang berstatus sukar. Soal-soal yang baik adalah
dipaparkan dalam bentuk tabel. yang memiliki status sedang, yaitu yang
tidak mudah namun tidak sukar (Sutedi,
2019). Karena itu angka 34% untuk soal
yang berstatus sedang menurut penulis
cukup mewakili sebagai soal yang dianggap Tabel 6. Daya Pembeda (DP) (2-2)
baik.
Tafsiran
No Soal
No Soal
Tafsiran
Indeks
Indeks
Selanjutnya Daya Pembeda (DP)
dicari dengan mengacu kepada selisih
jawaban benar kelompok atas dan kelompok
bawah melalui rumus berikut. 25 0.67 Bagus 31 0.33 Cukup
DP = (ΣBA / nA) – (ΣBB / nB) 26 0.17 Jelek 32 0.17 Jelek
Keterangan: 27 0.33 Cukup 33 0.33 Cukup
DP= Indeks Daya Pembeda yang dicari 28 0.17 Jelek 34 0.17 Jelek
BA= Jumlah jawaban benar kelompok atas 29 0.50 Bagus 35 0.17 Jelek
BB= Jumlah benar kelompok bawah 30 0.50 Bagus - - -
nA= jumlah kelompok atas (6 orang)
nB= Jumlah kelompok bawah (6 orang) Berdasarkan tabel diatas diketahui
Penafsiran dari hasil perhitungan bahwa soal ujian JLPT N4 memilki 18 soal
dengan rumusan diatas adalah 1) jika hasil atau 51% dengan kategori DP Jelek, 9 soal
indeks nilainya berada pada 0,00 - 0,20 maka atau 26% kategori DP Cukup, 6 soal atau
soal dikategorikan tidak bagus (tidak 17% kategori DP bagus dan 2 soal atau 6%
dipakai), 2) jika hasil indeks nilainya berada kategori DP sangat bagus. Walaupun di buku
pada 0,21 - 0,40 maka soal dikategorikan diterjemahkan DP kecil dengan kriteria
cukup (bisa digunakan secara hati-hati), 3) ‘Jelek’, namun karena ini merupakan standar
jika hasil indeks nilainya berada pada 0,41 – acuan ketika guru bahasa Jepang akan
0,70 maka soal dikategorikan bagus membuat soal, jadi penulis menyimpulkan
(rekomendasi untuk dipakai), dan 4) jika bahwa 51% yang terdapat dalam soal JLPT
hasil indeks nilainya berada pada 0,76 - 1,00 N4 ini bukan termasuk kategori jelek namun
maka termasuk kategori sangat bagus termasuk kategori DP rendah yang mana
(sangat rekomendasi untuk dipakai). Berikut harus ada pada soal-soal yang akan dibuat
adalah hasil analisis Daya Pembeda (DP) guru bahasa Jepang nantinya jika ingin
yang dipaparkan dalam bentuk tabel. merujuk JLPT N4 sebagai bahan referensi.
Namun jika ingin ditafsirkan dengan status
Tabel 5. Daya Pembeda (DP) (1-2) ‘jelek’ maka bisa saja guru bahasa Jepang
mengganti atau merevisinya dengan soal
Tafsiran
No Soal
No Soal
Tafsiran
Indeks
Indeks