Yuni Sufyanti Arief

8/11/17 1
The FACTS of good test items

F • Face valid

A • Accurate

C • Consistent with current practice

T • Test blueprint representative

S • Statistically appropriate
8/11/17 2
 Creating good test items
Right Sound Efficient
xxx
Expertise Processes Tools

8/11/17 3
 Right
Right Sound Efficient
Expertise xxx
Expertise Processes Tools

Subject matter expertise

• Untuk meyakinkan ke valid-an dari test
Content development expertise
• Untuk meyakinkan bahwa item tersebut dikembangkan oleh ahlinya
Psychometric expertise
• Untuk meyakinkan bahwa item test nya reliable

8/11/17 4
 Right Sound
Sound Efficient
Processes xxx
Expertise Processes Tools

Write items

Gap analysis of Review &

item bank approve items

Review of field Field test

test results items

8/11/17 5
 Sound item writing processes
Item performance
Assignments Training Review procedures
monitoring

• Gap analysis • Good item writing • Editorial review • Feedback

practices mechanisms
• Content review
• Style guidelines
• Acceptance criteria
• Cultural sensitivity

• Intellectual property
rights

• Confidentiality

8/11/17 6
 Right Sound Efficient
Efficient Tools xxx
Expertise Processes Tools

Item Bank
A repository of items with their associated metadata & historical record

8/11/17 7
 Right Sound Efficient Effective Item
Expertise Processes Tools Development

Guidelines for an effective item development process

An effective item development process begins well before the first

test item is written with development of test blueprints.

8/11/17 8
 Effective Item
Right Sound Efficient
Expertise Processes Tools Development

Guidelines for an effective item development process

Item authors require training in item writing.

8/11/17 9
 Effective
Right Sound Efficient Item
Expertise Processes Tools Developmen
t

Guidelines for an effective item development process

Item development requires more than authoring, sound review

processes are also essential.

8/11/17 10
 Effective
Right Sound Efficient Item
Expertise Processes Tools Development

Guidelines for an effective item development process

Style and grammar guidelines and review processes are necessary

to ensure items are testing what they are meant to test.

8/11/17 11
 Effective
Right Sound Efficient Item
Expertise Processes Tools Development

Guidelines for an effective item development process

Use item performance analysis to guide further review of the

items and to provide feedback to item authors.

8/11/17 12
 Tahap Telaah soal (Review)

Apakah isi soal Essensial dlm pekerjaan

Apakah struktur soal terstandar baik

Bila keduanya Baik: DITERIMA

8/11/17 13
 Struktur Soal
Vignette/kasus/pernyataan

Pertanyaan

Pilihan jawaban
8/11/17 14
 ISI

• Apakah secara isi, topik soal yang ditanyakan esensial dalam

menjalankan pekerjaan ?

• Rujukan: Standard Kompetensi

Baca soal sekilas, ambil kesan umum, Tentukan

relevansi isi dengan
Pekerjaan sebagai Nakes Baru Lulus
8/11/17 15
 REFLEKSI SOAL ANDA…..

• Apakah soal anda sangat penting untuk dapat menjalankan pekerjaan

sehari-hari?

• Menanyakan hal yang bermanfaat untuk ditanyakan?

8/11/17 16
 Vignete
Bisa Berisi: Ketentuan:
• Pernyataan • Logis
• Situasi • Sistematis
• Kasus pasien

Jangan terlalu panjang / pendek 8/11/17 17

 VIGNETE

Pemeriksaan Pemeriksaan
Identitas Situasi Keluhan fisik Penunjang

8/11/17 18
 Apa saja yang perlu ditelaah ?

• Materi :
• Relevansi dengan pekerjaan inti
• Bahasa
• Tingkat kesulitan
• Klasifikasi : sesuai blue print
8/11/17 19
 Apa saja yang perlu ditelaah ?
• Struktur :
• Stem (vennette)
• Lead in
• Option
• Kesimpulan
• Komentar umum dan saran
• Diterima/revisi/dikembalikan 8/11/17 20
 Kesalahan umum dalam pembuatan soal yang
perlu diwaspadai

— Ketidak sesuaian antara pertanyaan dengan kompetensi

— Ketidak sesuaian tingkat kesulitan soal dengan tingkat kognitif
— Kemaknaan klinis yang tidak relevan dengan kompetensi
— Bahasa dan kalimat tidak logis atau multi interprestasi
— Menanyakan sesuatu yang bersifat hafalan (recall) sederhana
— Kasus (vignet) tidak menggambarkan suasana klinis yang
sebenarnya
— Subtansi tidak logis (misalnya data pemeriksaan klinik dan atau
laboratorium)
— Pilihan jawaban tidak homogen 8/11/17 21
 Evaluasi butir soal secara umum

• Apakah butir soal relevan untuk menilai learning objectives atau

kompetensi ?
• Apakah tata bahasa, penulisan dan ejaan sudah benar?
• Apakah kosa kata yang tidak perlu dan sulit dipahami sudah dihindari?
• Apakah menggunakan kalimat-kalimat yang ringkas, berisi dan mudah
dipahami?

8/11/17 22
 Evaluasi butir soal secara spesifik
— menggunakan stem/vignette
— Apakah stem butir soal tidak mengandung materi yang tidak relevan?
— Apakah vignette berisi informasi/data yang memungkinkan mahasiswa yang
kompeten mampu menjawab dengan benar?
— Apakah vignette merepresentasikan keadaan yang mungkin terjadi di
konteks nyata?
— Apakah vignette memfoskuskan prinsip atau konsep penting/esensial yang
perlu dimengerti oleh mahasiswa, bukan hanya soal hafalan?
— Apakah stem bisa dijawab oleh mahasiswa yang kompeten tanpa melihat
jawaban yang tersedia?
— Apakah stem tidak menjebak dan juga tidak terlalu rumit? 8/11/17 23
 Evaluasi Lead in Question:

• Apakah dibuat dengan kalimat tanya?

• Apakah telah dihindari menanyakan tentang opini?
• Apakah pertanyaan berhubungan dengan stem?
• Apakah telah dihindari penggunaan kata “kecuali”?

8/11/17 24
 Evaluasi Pilihan Jawaban
• Apakah alternatif jawaban sudah dibuat jelas dan
singkat?
• Apakah alternatif jawaban sudah homogen?
• Apakah alternatif jawaban mempunyai panjang yang
hampir sama dengan jawaban kunci?
• Apakah alternatif jawaban sudah menghindari
alternatif yang tidak rasional?
• Apakah alternatif jawaban merupakan jawaban yang
tidak benar atau kurang benar dibandingkan dengan
jawaban kunci? 8/11/17 25
 Evaluasi Pilihan Jawaban
— Apakah alternatif jawaban cukup menarik mahasiswa yang tidak
kompeten untuk memilihnya?
— Apakah alternatif jawaban secara tata bahasa konsisten dan cocok
dengan stem dan lead in question?
— Apakah alternatif jawaban sudah menghindari penggunaan salah
satu di atas dan bukan salah satu di atas ?
— Apakah alternatif jawaban sudah menghindari kata selalu ,
jarang , kadang-kadang ?
— Apakah poin jawaban yang benar sudah diletakkan posisinya
secara acak terhadap distractornya?

8/11/17 26
 Kesimpulan Hasil Review
•Diterima tanpa perbaikan

•Diterima dengan perbaikan

•Perlu konfirmasi pembuat soal
•Tidak perlu konfirmasi (langsung edit)

•Dikembalikan kepada pembuat soal

•Berpotensi diterima dengan perbaikan

8/11/17 27
 Alasan penolakan

• Isi tidak esensial

• Isi terlalu spesialistis.
• Isi tidak realistis, terlalu teoritis

• Tidak ada vignette.

• Vignette tidak berfungsi
8/11/17 28
 ISTILAH BAKU YANG
DIGUNAKAN DALAM UKNI

8/11/17 29
 NO Istilah yang ada Istilah dalam uji kompetensi Ners
1. Wanita/Ibu/Ny/Nn perempuan

2. Pria/Bapak/Tn Laki-laki

Umur Usia

Anak 0-1/neonatus/bayi/infant Bayi…laki-laki/perempuan

Anak usia 1-3 tahun/toddler Batita laki-laki/perempuan

Anak usia 1-5 thn Balita…laki-laki/perempuan

Hemoglobin Hb…gr/dL

Rumah Sakit RS

Puskesmas Pembantu Pustu

Unit Gawat Darurat UGD

Diagnose Doagnosis 30
8/11/17
No Istilah yang ada Istilah dalam uji kompetensi
Thorax/dada Toraks

Tekanan darah/tensi/T TD…mm/Hg

Ronchi Ronkhi

Kata dalam bahasa Ditulis italic

asing/nama latin

hematokrit Ht…%

Thrombosit Trombosit…./mm3

Urine/urin/air snei/airkencing Urine

Buang air besar/berak/fekal BAB

Buang air kecil/kencing BAK

Anamnesa Anamnesis

Denyut nadi/pulse/N Frekuensi nadi…x/menit

Kecepatan nafas/RR/P Frekuensi nafas….x/menit 8/11/17 31

no Istilah yang ada Istilah dalam uji kompetensi
Suhu/temperatur/temp/T Suhu…oC

Oksigen O2

Co2/karbondioksida CO2

Composmentis/cm/sadarpenuh Compos mentis

X-Ray/rontgent/foto/ronsen X-ray

Ca/Carsinoma/kanker Karsinoma

Cholesterol Kolesterol

Tachycardia Takikardi

Tachipnea/pernafasan cepat takipnea

Penderita/psien/klien/OS Pasien (untuk RS) klien (komunitas)

Tinggi Fundus uteri TFU ..cm

Rumah sakit jiwa RSJ

Tinggi badan (Anak/Dewasa) TB ..cm

Panjang badan (bayi) PB..cm

Berat badan (3 bulan lebih) BB ..Kg

Berat badan (neonatus-3 bulan) BB..gram 8/11/17 32

Usia lanjut/usila Lansia

 Workflow of Item Bank Administration
Local Item Bank Regional Item Bank National Item
Item writer
Administrator Administrator Review

National Item Bank

Item Bank 2 Panel expert Item Bank 1
Administrator

Item Selection
Non scored items Item Bank 3 Question book
process

8/11/17 33
Item Bank 4
Workflow Administrasi Bank Soal
Pembuat Soal Local IB Admin Regional IB Admin National IB Admin

Administrasi
Membuat soal Administrasi
Bank Soal dari
sesuai dengan Bank Soal untuk
tiap institusi Administrasi Bank
Blue Print Review
Soal NCE

Data base
Data base
soal Institusi
soal Regional
pasca review

Ya
Benar Benar Ya
NCE
& &
lengkap lengkap

Tidak
Tidak
Item Analysis

8/11/17 34
Item Analysis
 Daftar Tilik Soal/Item (Untuk Reviewer)
Catatan: satu set daftar tilik berlaku untuk tiap satu soal/item
Diisi dengan tanda silang (X)
ID Soal :
Isi soal
Relevansi dan kesesuaian terhadap kompetensi ners Indonesia
( ) Sangat Relevan
( ) Relevan
( ) Ragu – ragu
( ) Kurang relevan
( ) Tidak relevan
Bahasa yang digunakan Tingkat kesulitan soal
( ) Sulit dimengerti ( ) Sangat sulit
( ) Kurang dimengerti ( ) Sulit
( ) Mudah dimengerti ( ) Sedang
( ) Mudah
( ) Sangat Mudah
Struktur Soal
Vingete
Terdapat ( ) Ya ( ) Tidak
Berfungsi ( ) Ya ( ) Tidak
FORM review

8/11/17 36
Kesimpulan Hasil Review
( ) Diterima tanpa perbaikan
( ) Diterima dengan perbaikan
( ) Tidak perlu konfirmasi dengan pembuat soal
( ) Perlu konfirmasi pembuat soal
( ) Dikembalikan kepada pembuat soal
( ) Berpotensi diterima dengan perbaikan
( ) Memerlukan perbaikan keseluruhan

Saran Perbaikan
Tanda Tangan Reviewer
Tanggal:
(DD) / (MM) / (YY) Nama Jelas :

Dengan ini menyatakan bahwa proses review soal di atas telah benar – benar telah dilakukan oleh nama
yang bertanda tangan di atas, tidak dilakukan oleh orang lain atau juga tidak dilakukan oleh orang lain
yang mengatasnamakan nama di atas.
 Essensial?
Situasi?
Kasus (Vignete) Keluhan?

Tn. T 40 tahun telah menikah dan memiliki seorang anak. Hasil

anamnesa diperoleh perkembangan mental, psikososial dan psikomoral
tidak bermasalah. Hasil pemeriksaan fisik TB 100 cm, tidak ada
pembesaran kelenjar gondok saat palpasi.

Hormon apakah yang menyebabkan kelainan padaTnT?

Pilihan jawaban
a. HormonTiroid Recall
b. Hormon Kortisol
c. Hormon Hipofise
d. Hormon paratiroid
8/11/17 38
e. Hormon Pertumbuhan
Kasus (vignete)
Seorang ibu membawa bayinya yang berusia 1 minggu ke RS. Ibu mengatakan
anaknya kejang selama 5 menit, saat kejang tidak sadar dan setelah kejang
bayinya terlihat tiduran terus dan malas menetek. 4 hari sebelumnya muncul
warna kuning di wajah bayi yang semakin meluas ke badan dan tangan kaki.

Pertanyaan soal • Vignete tidak

berfungsi
Bilirubin yang dapat mencapai sawar otak adalah • Recall

Pilihan jawaban
a. Bilirubin Direk
b. Bilirubin Indirek
c. Bilirubin Conjugated
d. Bilirubin fisiologis
e. Bilirubin serum 8/11/17 39
 • Essensial ?
Kasus (vignete) • Badan soal?
• Lead in?
Seorang perempuan berusia 24 tahun,. Sejak kecil, klien dianggap mengalami gangguan jiwa,
dianggap bodoh sehingga klien tidak disekolahkan. Di rumah klien selalu dikucilkan dan tidak
pernah diajak berkomunikasi,klien mengatakkan tidak mempunyai teman dekat, dan tidak ada
anggota keluarga yang dianggap teman dekat klien. Akibatnya klien sering menyendiri,
melamun,tidakmau makan. Gaya bicara klien berhati-hati, bicara apabila ditanya, jawaban
singkat. Klien sering duduk sendiri dan banyak tidur.
Pertanyaan soal
Berdasarkan rentang respon sosial yang dihadapi klien masuk pada rentang respon ...

Pilihan jawaban
Ada option mengandung
a. Curiga unsur Pengulangan kata
b. Otonomi dari badan soal
c. Manipulasi
d. Tergantung
e. Menarik diri 8/11/17 40
8/11/17 41
 BLUE PRINT

Kompetensi %
Praktik professional, etis, legal dan peka budaya
15-25%

Asuhan dan manajemen asuhan keperawatan

65-75%

Pengembangan professional
5-15%

8/11/17 42
 BLUE PRINT
Keilmuan %
KMB 25-37%
Maternitas 8-14%
Anak 8-14%
Jiwa 8-14%
Keluarga 8-14%
Gerontik 3-9%
Manajemen 3-9%
Gadar 3-9%
Komunitas 3-9% 8/11/17 43