Berkaitan kesesuaian (appropriateness) Sejauhmana instrumen/ujian mengukur objektif pembelajaran yang ingin diukur. Menentukan sejauhmana hasil penilaian itu boleh digunakan. **** Spesifik untuk tujuan tertentu sahaja. Melibatkan penilaian darjah kesesuaian July 2010 PM Dr. Siti Eshah Mokshein eshah_moe@yahoo.com 2 5.1 KESAHAN
Jenis: I. Kesahan Kandungan Sejauhmana sampel tugasan ujian mewakili apa yang ingin diukur. Bandingkan item ujian/penilaian dengan objektif/ spesifikasi domain tugasan yang ingin diukur (JPU)
II. Kesahan Konstruk/Gagasan/Idea Sejauhmana pencapaian dalam ujian boleh ditafsir sebagai penting atau bermakna untuk mengukur kualiti yang ingin diukur. Tentukan ciri-ciri atau indikator untuk menunjukkan kualiti tersebut. Contoh: Tahap Sosio- ekonomi (SES) Indikator: tahap pendidikan; pendapatan; jenis pekerjaan; tanggungan; perbelanjaan; harta dimiliki; kawasan tempat tinggal
July 2010 PM Dr. Siti Eshah Mokshein eshah_moe@yahoo.com 3 5.1 KESAHAN Contoh Konstruk: o Sikap terhadap Sains Seronok belajar sains Menyiapkan segera semua tugasan sains Menumpukan perhatian dalam pelajaran sains Kerap membaca buku berkaitan sains Percaya sains penting dalam kehidupan semua orang Ingin pekerjaan berkaitan bidang sains
July 2010 PM Dr. Siti Eshah Mokshein eshah_moe@yahoo.com 4 5.1 KESAHAN Contoh Konstruk:
o Waktu belajar lepas sekolah Mengulangkaji pelajaran di sekolah Buat kerja rumah/ tugasan Membaca bahan pelajaran akan datang Membaca majalah/ ensiklopedia tentang tajuk berkaitan Menonton tv/video tentang tajuk berkaitan Berbincang dengan rakan/keluarga tentang pelajaran
July 2010 PM Dr. Siti Eshah Mokshein eshah_moe@yahoo.com 5 5.1 KESAHAN Contoh Konstruk:
o Kemahiran penakulan sains dan penyelesaian masalah Menerangkan alasan di sebalik idea Menganalisis perkaitan menggunakan graf, carta, jadual Menyelesaikan soalan yang tiada langkah/ kaedah penyelesaian yang jelas atau serta merta Menerangkan pemerhatian Menyusun objek atau peristiwa dalam urutan dan menyatakan sebab
July 2010 PM Dr. Siti Eshah Mokshein eshah_moe@yahoo.com 6 5.1 KESAHAN Contoh Konstruk: o Kemahiran Sosial Hubungan dengan guru Hubungan dengan rakan sebaya Konsep kendiri Disiplin diri Tanggungjawab sosial Sikap terhadap pelajaran Semangat kewarganegaraan
July 2010 PM Dr. Siti Eshah Mokshein eshah_moe@yahoo.com 7 5.1 KESAHAN Jenis: III. Kesahan Kriterion Sejauhmana pencapaian dalam ujian ini meramalkan pencapaian masa depan (kriterion); atau berkait dengan pencapaian ujian lalu yang telah diakui (kriterion). Cara Bandingkan prestasi dalam kedua-dua ujian dan dapatkan pekali korelasi. Link.....\M&E LECTURE NOTES\KPN_validity_test.xls ..\M&E LECTURE NOTES\KPN_validity_test.sav
IV. Kesahan Muka Sekali pandang ujian kelihatan mengukur kemahiran/pengetahuan/ kandungan yang hendak diukur. Tidak mencukupi.
July 2010 PM Dr. Siti Eshah Mokshein eshah_moe@yahoo.com 8 5. KESAHAN & KEBOLEHPERCAYAAN 5.2 Kebolehpercayaan
Berkaitan ketekalan, kestabilan (consistency) hasil pengukuran.
Sejauhmana keputusan ujian konsisten jika ditadbirkan pada salah satu daripada berikut: waktu yang berbeza; atau ditadbirkan kepada kumpulan yang berlainan; atau diperiksa oleh guru yang berlainan.
July 2010 PM Dr. Siti Eshah Mokshein eshah_moe@yahoo.com 9 5.2 KEBOLEHPERCAYAAN
Jenis / Kaedah: I. Bentuk Belah Dua (`Split-Half) Mengukur ketekalan dalaman. Satu ujian dibahagikan kepada dua sub-ujian. Contoh: Item ganjil Bentuk A, Item genap - Bentuk B Item disusun mengikut aras kesukaran. Item ganjil Bentuk A, Item genap Bentuk B Item dikelompokkan kepada Bentuk A dan Bentuk B berdasarkan tugasan yang sepadan Jumlah markah untuk item Bentuk A dan B dibandingkan dan dapatkan pekali korelasi.
July 2010 PM Dr. Siti Eshah Mokshein eshah_moe@yahoo.com 10 5.2 KEBOLEHPERCAYAAN
Formula: Kebolehpercayaan, r xx = 2r 1/2,1/2 -------------------- 1 + r 1/2,1/2 yang mana r xx = kebolehpercayaan ujian r 1/2,1/2 = korelasi antara dua sub-ujian
II. Kaedah Berdasarkan Kovarian Item - Menggunakan formula: Pekali alpha Formula Kuder-Richardson
July 2010 PM Dr. Siti Eshah Mokshein eshah_moe@yahoo.com 11 5.2 KEBOLEHPERCAYAAN
Formula Cronbach alpha: Kebolehpercayaan, = k i 2
------- ( 1 - ----- ) k 1 x 2
yang mana k = bilangan item
i 2 = jumlah varian bagi setiap item
x 2 = varian bagi keseluruhan ujian berkenaan
July 2010 PM Dr. Siti Eshah Mokshein eshah_moe@yahoo.com 12 5.2 KEBOLEHPERCAYAAN
Formula Kuder-Richardson 20: Untuk item dengan jawapan betul/salah
KR20 = k pq
------- ( 1 - ----- ); yang mana k 1 r 2
p = perkadaran calon yang dapat jawapan betul; (0<p<1) q = perkadaran calon yang dapat jawapan salah (1-p)
r 2 = varian bagi jumlah skor k = bilangan item
July 2010 PM Dr. Siti Eshah Mokshein eshah_moe@yahoo.com 13 5.2 KEBOLEHPERCAYAAN
Formula Kuder-Richardson 21: Untuk item dengan jawapan betul/salah
KR21 = k m ( k m) ------ [ 1 - --------------- ] k 1 ks 2
yang mana k = bilangan item dalam ujian m = min ujian s 2 = varian ujian Contoh pengiraan: link KR20.xls
July 2010 PM Dr. Siti Eshah Mokshein eshah_moe@yahoo.com 14 5.2 KEBOLEHPERCAYAAN
II. Uji dan Ulang Uji (Test-Retest) Ujian yang sama ditadbirkan kepada kumpulan pelajar yang sama dalam dua masa yang berbeza. Dapatkan pekali korelasi, r. Kebolehpercayaan = r 2
III. Bentuk Setara / Selari (Parellel Form) Dua ujian setara (aras kemahiran, kandungan) diberi kepada pelajar. Dapatkan pekali korelasi (r) antara skor kedua-dua ujian. Kebolehpercayaan = r 2
IV. Bentuk Selang-Seli (Alternate Form) Dua bentuk ujian yang sama (Bentuk A dan B) diberi kepada pelajar dalam masa yang berturutan. Dapatkan pekali korelasi (r) antara skor kedua-dua ujian. Kebolehpercayaan = r 2
July 2010 PM Dr. Siti Eshah Mokshein eshah_moe@yahoo.com 15 5.2 KEBOLEHPERCAYAAN
V. `Inter-rater Reliability Ketekalan skor yang diberi oleh beberapa orang pemeriksa atau pakar.
Contoh : Handout Table 5.2, page 113, Measurement & Assessment in Teaching, Linn & Miller, 2005. LinkInter-Rater.xls
Ketekalan/ Kestabilan skor seseorang pelajar jika dia mengambil ujian tersebut beberapa kali? - Diukur dengan indek Ralat Lazim Pengukuran (SE)
SE, S e = S x (1 r xx ) ; yang mana
S x
= SD = Sisihan lazim skor ujian
r xx = kebolehpercayaan ujian
July 2010 PM Dr. Siti Eshah Mokshein eshah_moe@yahoo.com 17 5. KESAHAN & KEBOLEHPERCAYAAN Ralat Lazim Pengukuran (Standard Error of Measurement) Cronbach alpha, KR20, KR21, etc. Mengukur ketekalan / kestabilan skor sekumpulan pelajar.
Ketekalan/ Kestabilan skor seseorang pelajar jika dia mengambil ujian tersebut beberapa kali? - Diukur dengan indek Ralat Lazim Pengukuran (SE):
SE, S e = S x (1 r xx ) ; yang mana
S x
= SD = Sisihan lazim skor ujian
r xx = kebolehpercayaan ujian
July 2010 PM Dr. Siti Eshah Mokshein eshah_moe@yahoo.com 18 5. KESAHAN & KEBOLEHPERCAYAAN 5.3 Faktor Yang Mempengaruhi Kesahan Kesahan rendah jika: Item kurang baik tidak dapat mengukur dengan tepat kemahiran/pengetahuan yang ingin diukur. **** Arahan kurang jelas Soalan kabur Penggunaan perbendaharaan kata yang sukar difahami calon Masa tidak mencukupi Bilangan item tidak mencukupi. Susunan jawapan boleh diramal July 2010 PM Dr. Siti Eshah Mokshein eshah_moe@yahoo.com 19 5. KESAHAN & KEBOLEHPERCAYAAN 5.4 Faktor Yang Mempengaruhi Kebolehpercayaan
Panjang ujian atau bilangan item - Lebih banyak item / lebih panjang ujian kebolehpercayaan lebih tinggi. Kepelbagaian individu dalam kumpulan (Ingat formula KR20 melibatkan pq?) Kumpulan heterogen kebolehpercayaan tinggi. Kebolehan pelajar yang mengambil ujian. Item sukar pelajar akan meneka jawapan. Teknik yang digunakan untuk menganggar kebolehpercayaan o Teknik bentuk setara dan selang seli kebolehpercayaan lebih rendah daripada prosedur uji dan ulang uji atau bentuk belah dua Apa yang ingin diukur (pembolehubah). Pencapaian akademik keputusan lebih konsisten daripada sahsiah atau sikap/ nilai. Kebolehpercayaan tinggi.