Monitoring dan Evaluasi

Sistem Manajemen Mutu

+ penelitian mutuHanevi Djasri, dr, MARS

Divisi Manajemen Mutu,

Pusat Manajemen Pelayanan Kesehatan
(PMPK) FK-UGM
hanevi_pmpk@yahoo.com

SISTEMATIKA
Perbedaan monitoring dan evaluasi
Langkah-langkah monitoring dan evaluasi
Metode evaluasi
Area evaluasi
Balance score card
Katz & Green: proses, biaya, produktifitas dan kepuasan
pelanggan
Berdasarkan sudut pandang pasien, profesional, dan manajemen
Garis besar monitoring dan evaluasi
Studi kasus

Dua elemen esensial dalam

monitoring dan evaluasi
Mengukur kemajuan kegiatan perbaikan
mutu terhadap apa yang direncanakan
Mengetahui mengapa ada ketidaksesuaian kegiatan perbaikan dengan apa
yang direncanakan

Monitoring

vs

Menelusuri kegiatan dari hari ke

hari
Mengukur sejauhmana kebijakan
dan prosedur diterapkan
Berorientasi pada target
Menekankan proses konversi
input ke output
Fokus pada elemen-elemen
yang direncanakan program
Melaporkan kemajuan program

Evaluation

Jangka waktu lebih lama

Mengkaji apakah tepat kebijakan dan

prosedur yang diterapkan

Mengukur kemajuan dan menilai

apakah tepat target yg ditentukan

menekankan pencapaian thd tujuan

mengkaji elemen-elemen yang

direncanakan

mencatat pelajaran yang didapat dari

program

Kriteria evaluasi
Apakah kegiatan perbaikan mutu yang dilakukan relevan ?
Bagaimana kemajuan kegiatan tersebut ?
Apakah kegiatan perbaikan mutu dilaksanakan dengan
efisien ?
Apakah kegiatan tersebut efektif ?
Apa dampak dari kegiatan perbaikan mutu ?
Apakah perbaikan mutu memberi dampak pada perbaikan
luaran klinik ?

Metoda evaluasi
Mengukur perubahan dan membandingkan
perubahan terhadap: target, baseline, unit
lain yang tidak diberi perlakuan, kegiatan QA
di unit lain, atau terhadap standar yang telah
ditetapkan.
Dapat bersifat:
Non-eksperimental, deskriptif, kros-seksional
Kuasi-eksperimental, Eksperimental

Langkah-langkah monitoring &

evaluasi kegiatan perbaikan mutu
Pelajari apa tujuan kegiatan perbaikan mutu
Tentukan tujuan spesifik kegiatan perbaikan mutu yang akan
dievaluasi
Tentukan indikator, threshold, dan cara pengukurannya: baik
indikator proses maupun outcome untuk pelayanan klinik,
administrasi, dan pelayanan umum
Susun instrumen monitoring/evaluasi
Susun rencana monitoring/evaluasi
Laksanakan evaluasi
Susun laporan evaluasi dan berikan umpan balik

Area:

Pengembangan
Budaya mutu

Sistem mutu:
Perencanaan, Pelaksanaan,
Pengorganisasian, komitmen
Motivasi, Kepemimpinan,
Moitoring dan Evaluasi, dsb
Penerapan Standar
Penerapan pendekatan tim

Pengembangan
SDM
(termasuk pelatihan)

Reaksi Pelanggan
Kepuasan
Outcome clinic

Area evaluasi mutu

berdasarkan Katz & Green

Empat area indikator evaluasi

program mutu

$$
1. Proses

2. Cost

3. Productivity

4. Satisfaction

1. Process review
Apakah proses perbaikan mutu dilakukan
secara efisien ?:
apakah kegiatan mutu direncanakan, dilakukan
secara sistematis, dan berkesinambungan
apakah komprehensif
apakah ada indikator yang jelas
apakah dilakukan pengumpulan data secara periodik
apakah hasilnya dapat mengatasi masalah yang ada
apakah terintegrasi

2. Costs
Model P-A-F (Prevention, Appraisal, dan
Failure cost)
Crosby: biaya mutu sebesar 2,5% s/d
4,5% pendapatan operasional
Prevention costs
0-10%

Appraisal costs
15-20%

Failure costs
75-80%

2. Costs (Cont)
Prevention cost:
Employee orientation, training
Indetification of customer needs
Quality planning, developing quality system
Quality teams, quality recognition award
Procurement, etc

2. Costs (Cont)
Appraisal/Inspection cost:
Inspection of incoming materials
Inspection of work in progress
Inspection of finished goods
Inspection training
Quality audits, calibration of equipment
Documentation, etc

2. Costs (Cont)
Failure cost:
Internal failure cost:
Rework, overtime, re-inspection,
administrative cost

External failure cost:

Response to complain, returns replacement,
lost customers, etc

2. Costs (Cont)
6 Langkah analisis biaya mutu (Kelly)
1.

Bentuk kelompok kerja mutu

2.

Wawancara terhadap manager:

Mengetahui & mengkatagorikan biaya mutu

Menghitung hidden cost

3.

Kaji Financial statement dan customer records

4.

Tentukan parameter-parameter untuk mengukur, meneliti dan

memonitor komponen biaya mutu

5.

Kembangkan program untuk meneliti dan memonitor biaya mutu

6.

Monitor efek TQM terhadap biaya mutu

3. Productivity
Four benefits of measuring productivity (Edwardson):
Mengukur kemajuan pelayanan
Mendokumentasikan efisiensi dalam perbaikan
Menjelaskan peningkatan mutu yang dikarenakan
design atau proses
Memberikan kriteria untuk distribusi sarana

4. Satisfaction
Indikator-indikator kepuasan pelanggan:
SERVQUAL: Reliabilitas, assurance, technical
competence, empathy dan responsiveness

Area evaluasi mutu

berdasarkan sudut pandang

Mutu dari sudut pandang pelanggan

apakah jasa pelayanan yang diberikan memenuhi selera
dan kebutuhan pelanggan?
Reliability: jasa/produk sesuai dengan yang dijanjikan, dpt
diandalkan, akurat
Assurance: kompetensi SDM: profesional, dapat dipercaya,
meyakinkan
Tangible: wujud fisik sarana dan prasarana
Empathy: kepedulian dan perhatian thd pelanggan
Responsiveness: kesediaan dan ketanggapan
Timeliness: ketepatan waktu

Mutu dari sudut pandang pelanggan

(cara mengukur)
Analisis proses pelayanan
Survei kuesioner
Wawancara informal
Diskusi kelompok bersama konsumen

Mutu dari sudut pandang profesional

apakah pelayanan yang diberikan
memenuhi kebutuhan pelanggan sesuai
dengan analisis yang dilakukan oleh
tenaga profesi?
apakah pelayanan yang diberikan sesuai
dengan tehnik dan prosedur profesional
dalam memenuhi kebutuhan pelanggan?

Mutu dari sudut pandang profesional

(cara mengukur)
Audit medik
Audit keperawatan
Audit klinik

Mutu dari sudut pandang manajemen

Efektifitas
Efisiensi

Mutu dari sudut pandang manajemen

(cara mengukur)
Operational Review

Evaluasi mutu berdasarkan

Balance score card

Financial Status

Customer
Satisfaction

Process

People

Garis besar tahapan monitoring dan evaluasi

mutu untuk perbaikan pelayanan
Tentukan quality feature
Formulasikan indikator dan standar
Susun instrumen pengukuran dan lakukan pengukuran
Lakukan analisis data yang dikumpulkan
Hasil analisis menjadi masukan bagi komite mutu untuk
menyusun rencana perbaikan
Implementasi rencana
Kajian thd pelaksanaan rencana
Kajian ulang

Bahan Bacaan
Katz, J., Green, E., Managing Quality, Mosby, 1992, Chapter 15:
Evaluating Your QM Program
Kelly, J.M., Total Quality Management, Alexander Hamilton Inst, Inc,
1994. Pp 61-66.
Counte, M.A., Glandon, G.L., Oleske, D.M., Hill, J.P., Improving
Hospital Performance: Issues in Assessing the Impact of TQM
activities, Hospital & Health Services Administration 40:1, Spring 1995
Redfern, S.J., Norman, I.J., Quality assessment instruments in nursing:
towards validation, Inter. Journal of Nursing Study, 32 (2), 1995
Ovretveit J., Health Service Quality, Blackwell Sc Pub, Oxford, 1991.

Studi kasus
Sebuah RS swasta di Jakarta telah
menerapkan sistem manajemen mutu
sejak 2 tahun lalu dengan model yang
dikembangkan dari AMCHAM dan Henry
Ford Health System yang dilakukan
melalui 3 fase

Studi kasus (contd)

Fase Inisiasi yang meliputi kegiatan:
Awareness, pengembangan: kepemimpinan mutu, visimisi, strategi dan quality framework, infrastruktur
organisasi

Fase Transformasi:
Identifikasi prioritas, pengembangan dan pelatihan tim,
kegiatan dengan siklus PDCA, evaluasi

Fase Integrasi:
Pengembangan: komitmen, sistem informasi mutu,
sistem monev dan Pelatihan karyawan

Studi kasus (contd)

Hasil Evaluasi: Dinilai gagal

Tidak ada peningkatan produktifitas
Tidak ada peningkatan kepuasan pelanggan
Biaya mutu yang dikeluarkan melebihi standar biaya mutu

Diskusikan apa saja yang dapat

menyebabkan penerapan sistem
manajemen mutu tersebut gagal?

Diskusi kelompok
1.

Cari 1 artikel (on-line) jurnal internasional tentang

monitoring dan atau evaluasi terhadap upaya mutu di
RS

2.

Diskusikan:
1.
2.
3.
4.
5.

3.

Monitoring atau evaluasi atau keduanya

Instrumen apa yang mereka gunakan dalam monev
Perspektif apa yang mereka gunakan dalam monev
Prodedur monev seperti apa
Hasil monev bagaimana

hanevi_pmpk@yahoo.com jam 16:30 hari ini