Performance of PRISM III, PELOD-2,

and P-MODS Scores in Two Pediatric

Intensive Care Units in China
Lidan Zhang1,2†, Yuhui Wu3†, Huimin Huang1, Chunyi Liu4, Yucai Cheng2, Lingling Xu1,
Wen Tang1* and Xuequn Luo5*

oleh
Randy Suryawan
Pembimbing
Dr. dr. Idham Jaya Ganda, Sp.A (K)
ABSTRACK

• Objective: The performances of the pediatric risk of mortality score III (PRISM III), pediatric logistic organ dysfunction
score-2 (PELOD-2), and pediatric multiple organ dysfunction score (P-MODS) in Chinese patients are unclear. This

study aimed to assess the performances of these scores in predicting mortality in critically ill pediatric patients.

• Methods: This retrospective observational study was conducted at two tertiary-care PICUs of teaching hospitals in
China. A total of 1,253 critically ill pediatric patients admitted to the two Pediatric Intensive Care Units (PICUs) of the

First Affiliated Hospital, Sun Yat-Sen University from August 2014 to December 2019 and Shen-Zhen Children's

Hospital from January 2019 to December 2019 were analyzed. The indexes of discrimination and calibration were

applied to evaluate score performance for the three models (PRISM III, PELOD-2, and P-MODS scores). The receiver

operating characteristic (ROC) curve was plotted, and the efficiency of PRISM III, PELOD-2, and P-MODS in

predicting death were evaluated by the area under ROC curve (AUC). Hosmer–Lemeshow goodness-of-fit test was

used to evaluate the degree of fitting between the mortality predictions of each scoring system and the actual

mortality.
• Results: A total of 1,253 pediatric patients were eventually enrolled in this study (median age, 38 months;
overall mortality rate, 8.9%; median length of PICU stay, 8 days). Compared to the survival group, the non-

survival group showed significantly higher PRISM III, PELOD-2, and P-MODS scores [PRISM III: 18 (12,

23) vs. 11 (0, 16); PELOD-2, 8 (4, 10) vs. 4 (0, 6); and P-MODS: 5 (4, 9) vs. 3 (0, 4), all P < 0.001]. ROC

curve analysis showed that the AUCs of PRISM III, PELOD-2, and P-MODS for predicting the death of

critically ill children were 0.858, 0.721, and 0.596, respectively. Furthermore, in the Hosmer–Lemeshow

goodness-of-fit test, PRISM III and PELOD-2 showed the better calibration between predicted mortality

and observed mortality (PRISM III: χ2 = 5.667, P = 0.368; PELOD-2: x2 = 9.582, P = 0.276; P-MODS: χ2 =

12.449, P = 0.015).

• Conclusions: PRISM III and PELOD-2 can discriminate well between survivors and non-survivors.
PRISM III and PELOD-2 showed the better calibration between predicted and observed mortality, while P-

MODS showed poor calibration.

 INTRODUCTION
• The crucial aim of admission to a pediatric intensive care unit (PICU) is to reduce mortality. In this regard,
mortality prediction models are important and valuable tools for assessing the quality of care provided to
critically ill patients.
• The prognostic scores based on these tools can be used for dynamic evaluation of individual pediatric patients
and for accurately identifying the risk of death or possible severe complications in critically ill patients of all age
groups, including pediatric patients.
• At present, the PRISM III, PELOD-2, and P-MODS scores are frequently used for mortality prediction in the
pediatric population
• Considering the dramatic changes in the quality of intensive are as a result of the recent major advances in
technology and treatment, the mortality prediction models, including PRISM III, PELOD-2, and P-MODS
scores, require reassessment. For optimal use of these scores, their relevance and effectiveness in specific patient
populations different from the populations on which they were developed is important
 MATERIALS AND METHODS

• Design and Setting

This retrospective observational study was conducted in the

pediatric intensive care units of the First Affiliated Hospital, Sun
Yat-Sen University from August 2014 to December 2019 and
Shen-Zhen Children’s Hospital from January 2019 to December
2019.
 PATIENTS

A total of 1,368 consecutive and critically ill pediatric patients were enrolled.

• Children age more than 1 month or younger than 14 years

inklusi

• patients treated less than 24 hour in PICU

eksklu
• patients with missing information for thevariables used
si
to estimate the PRISM III, P-MODS, and PELOD- 2
scores
 Methods
The following data were collected for each enrolled patient within 24 h of admission: age, gender,
admission diagnosis and all necessary physiological parameters required for estimation of PRISM
III, P-MODS, and PELOD-2 scores. For variables that were measured more than once within 24 h
of admission, the worst values for the day were selected for calculating the three scores. Moreover,
length of PICU stays and clinical outcomes (survival or death) at discharge were also collected.

PRISM P-MODS PELOD-

III 2
Methods
 Analisis statistic
• All statistical analyses were performed using Statistical Program for Social Science version 22.0.
• Categorical variables were expressed as frequencies and percentages
• Normally distributed data were expressed as mean [standard deviation (SD)]
• The t test was applied for comparisons between groups.
• To evaluate the discrimination or the ability of the model to differentiate between survivors and non-
survivors, the area under the receiver operating characteristic curve (AUC-ROC) and its 95%
confidence interval (CI) was calculated
• The Hosmer–Lemeshow goodness-of-fit test was used to evaluate calibration or the degree of
agreement between the predicted and observed mortality assessed using the PRISM III, P-MODS and
PELOD-2 scoring systems.
RESULTS
RESULTS
RESULTS
RESULTS
 DISCUSSION

• Model prediksi kematian adalah alat penting dan berharga untuk menilai
kualitas perawatan yang diberikan kepada pasien sakit kritis
• Diskriminasi dan kalibrasi skor prognostik adalah pendekatan yang paling
umum digunakan untuk menilai kinerja mereka dalam memprediksi
kematian pada pasien sakit kritis, termasuk anak-anak.
• Dalam penelitian ini, kalibrasi dan diskriminasi skor PRISM III, PELOD-2,
dan P-MODS dinilai dan dibandingkan pada pasien anak-anak yang sakit
kritis yang dirawat di PICU dari Rumah Sakit Afiliasi Pertama, Universitas
Sun Yat-Sen dan Rumah Sakit Anak Shen-Zhen. 
 DISCUSSION
• Karena kompleksitas penyakit, penilaian kondisi penyakit dan prediksi
risiko kematian adalah proyek yang rumit. Oleh karena itu, tidak ada
konsensus tentang skor standar emas untuk penilaian tersebut. Dalam
penelitian ini, kami menemukan bahwa PRISM III dan PELOD-2
menawarkan diskriminasi yang baik di dua PICU Cina. PRISM III dan
PELOD-2 menunjukkan kalibrasi yang lebih baik antara mortalitas yang
diprediksi dan diamati, sedangkan P-MODS menunjukkan kalibrasi yang
buruk
 LIMITATIONS
• Penelitian ini memiliki beberapa keterbatasan. 
• Pertama, mengingat sifat penelitian, kualitas data yang direkam dapat mengancam validitas
temuan. Namun, variabel prospektif dikumpulkan untuk PRISM III termasuk beberapa
informasi klinis penting yang juga digunakan untuk estimasi PELOD-2. 
• Kedua, hanya dua pusat PICU yang terdaftar dalam penelitian ini, dan jumlah pasien tidak
cukup besar untuk cukup mewakili populasi PICU Cina. Jadi, untuk mendapatkan hasil
yang lebih andal dan tepat, penelitian selanjutnya harus memperluas penelitian ini ke lebih
banyak PICU Cina. Ketiga, PELOD-2 dan P-MODS dirancang sebagai penanda pengganti
kematian dan digunakan untuk menilai kegagalan organ pada semua hari PICU. Namun,
 CONCLUSION
• Dalam penelitian ini, kami menemukan bahwa PRISM III dan PELOD-2
menawarkan diskriminasi yang baik di dua PICU Cina. 
• PRISM III dan PELOD-2 menunjukkan kalibrasi yang lebih baik antara mortalitas
yang diprediksi dan diamati, sedangkan P-MODS menunjukkan kalibrasi yang
buruk. 
• Hasil penelitian ini memberikan kontribusi untuk mengevaluasi kondisi pasien
anak sakit kritis secara cepat dan tepat. Selain itu, penelitian yang lebih
mendalam perlu dilakukan di masa depan untuk mengeksplorasi model prediksi
yang lebih andal dan akurat yang cocok untuk PICU di Cina.
 CRITICAL
APPRAISAL

Performance of PRISM III, PELOD-2,

and P-MODS Scores in Two Pediatric
Intensive Care Units in China
 CRITICAL APPRAISAL
NO HAL YANG DINILAI CHECK LIST PENILAIAN YA TIDAK
1 Judul makalah a. Tidak terlalu panjang atau tidak terlalu pendek ✔   
b. Menggambarkan isi utama penelitian ✔  
c. Cukup menarik ✔  
d. Tanpa singkatan, selain yang baku ✔
 

2 Abstrak a. Abstrak terstruktur ✔   

b. Mencakup komponen IMRAC (Introduction, methods, Results, Conclussion) ✔
 
c. Secara keseluruhan abstrak informatif
d. Tanpa singkatan, selain yang baku ✔
e. Kurang dari 250 kata ✔
✔

3 Pendahuluan a. Ringkas terdiri dari 2 – 3 paragraf ✔

b. Paragraf pertama mengemukakan alasan dilakukannya penelitian ✔
c. Paragraf berikut menyatakan hipotesis atau tujuan penelitian ✔
✔
d. Didukung oleh pustaka yang kuat & relevan ✔
e. Kurang dari 1 halaman  

19
 CRITICAL APPRAISAL
4 Metode a. Disebutkan design, tempat dan waktu penelitian ✔  
b. Disebutkan populasi sumber (populasi terjangkau) ✔  
c. Dijelaskan kriteria pemilihan subyek (inklusi & eksklusi) ✔  
✔ 
d. Disebutkan cara pemilihan subjek (teknik sampling) ✔
e. Disebutkan perkiraan besar sampel & alasannya
f. Perkiraan besar sampel dihitung dengan rumus yang sesuai ✔
g. Observasi, pengukuran serta intervensi dirinci sehingga orang lain ✔  
dapat mengulanginya    
h. Ditulis rujukan bila teknik pengukuran tidak dirinci    
  ✔
i. Pengkuran dilakukan secara tersamar ✔
j. Definisi istilah & variable penting dikemukakan  ✔
 
k. Ethical clearance diperoleh ✔

20
5 Hasil a. Disertakan tabel karakteristik subjek penelitian ✔  
b. Karakteristik subjek yang penting (data awal) dibandingkan ✔
kesetaraannya  
✔
c. Dilakukan uji hipotesis(statistik) untuk kesetaraannya ✔  
d. Disebutkan jumlah subjek yang diteliti ✔  
e. Dijelaskan subyek yang dropout dengan alasannya ✔  
f. Ketepatan numerik dinyatakan dengan benar ✔  
g. Penulisan tabel dilakukan dengan tepat ✔
h. Semua hasil di dalam tabel disebutkan dalam naskah ✔
 
✔
i. Semua outcome yang penting disebutkan dalam hasil
✔
j. Subyek yang drop out diikutkan dalam analisis ✔
k. Analisis dilakukan dengan uji statistik yang sesuai
l. Ditulis hasil ujistatistik, derajat kebebasan (degree of freedom), dan
nilai p
m. Disertakan interval kepercayaan ✔
✔ 
n. Dalam hasil disertakan komentar & pendapat
6 Diskusi a. Semua hal yang relevan dibahas ✔  
b. Tidak sering diulang hal yang dikemukakan ✔  
pada hasil  
✔
c. Dibahas keterbatasan penelitian, dan  
dampaknya terhadap hasil  
d. Disebutkan penyimpangan protokol, dan ✔  
dampaknya terhadap hasil  
e. Diskusi dihubungkan dengan pertanyaan ✔  
penelitian ✔  
f. Dibahas hubungan hasil dengan teori/hasil  
penelitian terdahulu  
✔  
g. Dibahas hubungan hasil dengan praktek
klinis  
h. Efek samping dikemukakan dan dibahas ✔
i. Disebutkan hasil tambahan selama ✔  
diobservasi ✔  
j. Disertakan simpulan utama penelitian ✔
k. Simpulan didasarkan pada data penelitian  
l. Disebutkan generalisasi hasil penelitian
m. Disertakan saran penelitian selanjutnya ✔
✔
TELAAH KRITIS JURNAL

VALIDITY IMPORTANCE APPLICABILITY

 TELAAH KRITIS JURNAL VALIDITY

Apakah awal penelitian didefinisikan dengan jelas?

Ya, pada artikel ini terdapat penjelasan terkait judul dan tujuan penelitian, dijelaskan

pada bagian pendahuluan

Apakah menyatakan desain penelitian dengan jelas?

Ya, penelitian ini menggunakan Retrospective Observasional

 TELAAH KRITIS JURNAL VALIDITY
Apakah pembanding dinyatakan dengan jelas?
Ya, penelitian ini antara 3 metode untuk penilaian kritis terhadap
pasien yang berada di perawatan PICU.

Apakah faktor kausal dikemukakan?

Ya, peneliti menyebutkan kriteria – kriteria dari metode yang akan
diajukan.

Apakah kelompok-kelompok yang dibandingkan sebanding pada tahap

awal?
pada penelitian ini tidak memiliki sampel tahap awal
 TELAAH KRITIS JURNAL IMPORTANCE
Apakah outcome/hasil dipaparkan secara jelas (hasil uji statistik dengan

hasil nilai p)?

Ya, pada penelitian ini dipaparkan hasil penelitian beserta nilai P-value.

Seberapa besarkah ketepatan estimasi outcome yang didapat dengan

nilai OR, RR, PR dengan nilai korelasi 95% CI?

Pada penelitian ini hasil tidak dijelaskan nilai OR, RR, PR dengan nilai

korelasi 95% CI
 TELAAH KRITIS JURNAL APPLICABILITY
Apakah karakteristik pasien kita mirip dengan subjek yang diteliti?
Ya, karena cukup banyak ditemukan anak yang dirawat diruang PICU yang mana
penyebabnya mirip dengan pasien di Rumah Sakit Wahidin Sudirohusodo.

Apakah bukti ini akan mempunyai pengaruh yang penting secara klinis terhadap
kesembuhan pasien kita tentang apa yang telah ditawarkan/diberikan kepada
pasien kita?
Ya, dengan hasil penelitian ini kita dapat memprediksi pasien – pasien yang dirawat
di perawatan PICU apakah akan masuk ke golongan survival atau non survival.
TERIMAKASIH