Item Development and Review

Workshop

Divisi Ujian Tulis

Komite Bersama
Uji Kompetensi Dokter Indonesia
Bandung, 15 Maret 2008
Tahap Penjaminan Mutu UKDI

Input
Input
Process
Process Output
Output

1. Review Process
1. Blueprinting
2. Try-out • Criterion-
2. Item Writer reference.
3. Examination
Standard
guideline • Standard
3. Item Reviewer setting
4. Report on
Standard exercise
Examination
4. ICT support
5. Feedback process.
6. Item Bank
Aspek Review ?
 Aspek Review
• Isi

• Struktur
 Contoh Kasus 1: isi?
Seorang pria 20 tahun, sehat, sebelumnya masuk
perawatan rumah sakit dengan keluhan nyeri mendadak
pada dada sebelah kiri, ECG normal, foto paru-paru terlihat
pneumotorak.
Prosedur apa yang akan anda lakukan :
A. Observasi.
B. Barium meal.
C. Torakotomi.
D. Torakostomi.
E. Torakostomi + intubasi.
 SKDI
• Pneumothoraks (3a dan 3b)

• 3b. Mampu membuat diagnosis klinik

berdasarkan pemeriksaan fisik dan
pemeriksaanpemeriksaan tambahan yang diminta
oleh dokter (misalnya : pemeriksaan laboratorium
sederhana atau X-ray). Dokter dapat memutuskan
dan memberi terapi pendahuluan, serta merujuk
ke spesialis yang relevan (kasus gawat darurat).

Torakotomi, torakostomi tidak ada dalam list

keterampilan dokter umum.
 Lesson Learnt pada isi
• Apakah secara isi, topik soal yang
ditanyakan esensial?

• Rujukan: Standard Kompetensi Dokter

Indonesia (SKDI) dan blueprinting UKDI.
Bagan Alir Proses Review
Soal baru

Scanning isi soal

terkait topik soal

Esensial
Tidak esensial
Dikembalikan

Review
struktur
Struktur?
 Struktur
• Vignette

• Lead in

• Option
Bagan Alir Proses Review
Soal baru

Scanning isi soal

terkait topik soal

Esensial
Tidak esensial
Dikembalikan

Review
struktur

Vignette
 Contoh Kasus 2: vignette?
Seorang laki-laki berusia 55 tahun datang dengan nyeri dada kiri
yang hebat sejak 2 jam yang lalu saat sedang senam pagi. Nyeri
dirasakan menjalar ke lengan kiri, tidak hilang dengan istirahat.
Pasien adalah perokok berat. Kakak tertua meninggal mendadak
2 tahun yang lalu saat latihan tenis.

Apakah pemeriksaan yang paling tepat saudara minta untuk

memastikan diagnosis pasien di atas?
A. Foto thorax dan EKG
B. Echocardiografi dan EKG
C. Echocardiografi dan enzim CPK
D. EKG dan enzim CPK
E. Foto thorax dan Echocardiografi
 Komponen Vignette
– Jenis kelamin, Umur (e.g. laki-laki 45 tahun)
a. Kasus spesifik wanita  kehamilan
b. Kasus anak-anak, dewasa, geriatri?
- Tempat pelayanan/setting (IGD)
- Keluhan Utama
- Durasi
- Gejala penyerta dan keterangan pasien lainnya
- Pemeriksaan fisik
- Pemeriksaan penunjang
 Lesson learnt pada vignette
- Bahasa yang digunakan pada vignette
- Vignette terlalu pendek (tidak lengkap),
atau terlalu panjang (tidak terkait logika
option).
- Urutan vignette tidak sistematik (HT, PD,
HT, PD, PP).
Next step?
Bagan Alir Proses Review
Soal baru

Scanning isi soal

terkait topik soal

Esensial
Tidak esensial
Dikembalikan

Review
struktur

Vignette

Lead-in
 Kasus 3: Lead in?
Seorang wanita umur 30 tahun mengeluh ada benjolan
sebesar 1,5 cm dibawah telinga kanan yang diderita
selama 4 tahun. Pada pemeriksaan, lesinya padat dan
keras, dapat digerakkan, N.VII, fungsi baik, tidak teraba
pembesaran kelenjar getah bening.
Diagnosisnya kasus ini adalah :
A. Kistoadenoma limfomatosum (Warthin tumor).
B. Karsinoma Muko-epidermoid tahap awal.
C. Tumor campur jinak.
D. Tumor campur ganas.
E. Adenokarsinoma sel asinar.
 Lesson learnt pada Lead-in
• Menggunakan kata tanya secara
langsung, sehingga dapat memenuhi
“close the option rule”
Next step?
Bagan Alir Proses Review
Soal baru

Scanning isi soal

terkait topik soal

Esensial
Tidak esensial
Dikembalikan

Review
struktur

Vignette

Lead-in

Option
 Kasus 4: Option?
Seorang pria, berusia 60 tahun, dibawa ke bagian gawat
darurat oleh seorang polisi, yang menemukannya dalam
keadaan tergeletak tidak sadarkan diri di sisi jalan. Setelah
memastikan bahwa saluran pernafasan dalam keadaan
tidak tersumbat, langkah pertama dalam manajemen
adalah administrasi intravena:
A. pemeriksaan cairan serebrospinal
B. glukosa dengan vitamin B1 (thiamine)
C. CT scan kepala
D. fenitoin
E. diazepam
 Lesson learnt pada Option
• Homogen: gramatikal, semantik, panjang-
pendek.
• Hindari absolutisme: selalu, tidak pernah.
• Hindari konvergensi.
• Hindari kesamaan istilah dengan vignette.
• Hindari urutan yang tidak sistematis 
menyulitkan.
• Hindari kalimat: bukan salah satu di
atas
Bagan Alir Proses Review
Soal baru

Scanning isi soal

terkait topik soal

Esensial
Tidak esensial
Dikembalikan

Review
struktur

Vignette

Lead-in

Option
 Checkpoint
• Bagaimanakah step mereview soal?
 Apa saja yang perlu ditelaah ?

• Materi :
– Relevansi: Kongruensi
– Bahasa
– Tingkat kesulitan (tingkat kompetensi)
– Klasifikasi : e.g. Dasar atau klinik?
 Apa saja yang perlu ditelaah ?
• Struktur :
– Stem
– Lead in
– Option
• Kesimpulan
– Komentar umum dan saran
– Diterima/revisi/dikembalikan
 Struktur Soal : Item Flaws
• Grammatical Cues ( ) Ya ( ) Tidak
• Logical Cues ( ) Ya ( ) Tidak
• Istilah yang absolut ( ) Ya ( ) Tidak
• Jawaban benar yang panjang ( ) Ya ( ) Tidak
• Pengulangan kata dari badan
soal ke jawaban ( ) Ya ( ) Tidak
• Konvergensi soal ( ) Ya ( ) Tidak
• Pilihan jawaban yang panjang,
kompleks, atau duplikasi ( ) Ya ( ) Tidak
• Pilihan yang berupa angka tidak diurut
sesuai dengan besarnya ( ) Ya ( ) Tidak
• Pilihan yang mengandung unsur frekuensi
suatu kejadian bersifat multi interpretasi ( ) Ya ( ) Tidak

• Pilihan jawaban tidak paralel dan

urutan tidak logis ( ) Ya ( ) Tidak
• Penggunaan BSSD (bukan salah satu
di atas pada pilihan jawaban) ( ) Ya ( ) Tidak
• Badan soal terlalu panjang, sulit,
dan kompleks ( ) Ya ( ) Tidak
Komentar Umum
Reviewer

ID Soal :

Kesimpulan Hasil Review

( ) Diterima tanpa perbaikan

( ) Diterima dengan perbaikan
( ) Perlu konfirmasi pembuat soal
( ) Tidak perlu konfirmasi dengan
pembuat soal
( ) Dikembalikan kepada pembuat soal
( ) memerlukan perbaikan
keseluruhan
( ) Berpotensi diterima dengan
perbaikan
 Saran Perbaikan

Tanggal:
(DD) / (MM) /
(YY)
Tanda Tangan Reviewer

Nama Jelas :
 Exercise
Seorang mahasiswa pria, 25 tahun datang ke rumah sakit dengan keluhan
panas badan sejak 2 minggu yang lalu yang mulai secara gradual dan
berlangsung remiten. BAB mencret lebih kurang 2 kali sehari. Pada
pemeriksaan fisik ditemukan keadaan umum yang sakit sedang, apatis,
hepatomegali 2 jari dibawah arcus costae. Hb 14,2 gr/dL, leukosit 4200 /mm3,
trombosit 172000/mm3.

Pertanyaan: Apa tindakan diagnosis yang akan anda lakukan pada pasien ini?
Pilihan jawaban:

A. Pemeriksaan Hemaglutinasi test untuk dengue

B. Pemeriksaan Widal I dan II, Kultur darah dan feses untuk salmonela
C. Pemeriksaan Widal I dan II.
D. Pemeriksaan apus tebal darah untuk malaria/ DDR
E. Feses rutin dan kultur
Komentar
 Alasan penolakan
• Isi tidak esensial
• Isi terlalu spesialistis.
• Isi tidak realistis, terlalu teoritis (status gizi
tanpa tabel tumbuh kembang).

• Tidak ada vignette.

• Vignette tidak berfungsi
 Next step?
Bekerja dalam kelompok untuk mereview
soal-soal menggunakan formulir review
yang ada.
• Feedback terhadap pembuat soal?