Medical Robot-Controlled Intelligent

Assistive Technology Untuk Penanganan

COVID-19
Arjon Turnip, Ph.D.
Anggota (UNPAD) :
1. Agus Trisanto S.T., M.T., Ph.D
2. Dr. Asep Sholahuddin, M.T
3. Dessy Novita S.T, M.T, Ph.D
4. Emilliano S.Pd, MT, Ph.D
5. Dr. Intan Nurma Yulita M.T
6. Fedri Ruluwedrata Rinawan, dr., MScPH., PhD
7. Dr. Med. Sc. dr, Irma Ruslina Defi, SpKFR (K)
8. Shelly Iskandar dr, Sp.K.J, M.Si, Ph.D
Peneliti Mitra :
1. Yaya Wihardi S.T, M.T (UPI)
2. Dr. Ir. Endroyono, DEA (ITS)
3. Ir. Endra Joelianto Ph.D (ITB)
4. Dwi Esti Kusumandari, MT (LIPI)
COVID-19 Cases: July 2021

Latest Data on Covid-19 in Indonesia:

Total Cases Reaches 2,527,203

2
Kasus COVID-19 sampai Juli‘21

3
World Corona Update 14 July 2021: Indonesia
Ranked First in Daily Cases of Covid-19,
Epicenter in Asia

4
Latar Belakang

⚫ Seiring dengan semakin meningkatnya kasus

terpapar COVID-19 di dunia, keterbatasan alat
pelindung diri (APD) untuk petugas kesehatan dan
pendamping pasien semakin banyak dibicarakan.
⚫ APD tidak hanya dibutuhkan oleh petugas yang
berinteraksi langsung dengan pasien tetapi oleh
petugas pada setiap pelayanan medis terhadap
orang tanpa gejala.
⚫ Covid 19 masih akan bertahan berapa lama,
sehingga pengemban teknologi masih diperlukan.

5
Cost: Patient, Nutritions, Medicine,
Cleaning, Nursing, and Monitoring

6
 AI, IoT, Big Data in Industry 4.0
Terlepas dari COVID-19, peningkatan kualitas
teknologi dan layanan perlu terus dikembangkan

7
Goal

⚫Build a smart robot system without an

operator for medical services to reduce the
use of personal protective equipment,
assist in the management of COVID-19, and
minimize physical contact with patients

8
Strenght of Medical Robot
⚫ Robotic systems are equipped with data
acquisition, signal and image processing,
vision systems, mapping, localization,
monitoring, UV disinfection, and intelligence
control.
⚫ The integrated technology developed
hereinafter is called Medical Robot-Controlled
Intelligent Assistive Technology (MR-IAT)
which means an assisted intelligence system
that is controlled automatically and auto-drives
by using information from the user and the
9
surrounding environment.
Previous Research: 10

Artificial Intelligence (AI) on Medical

Instrument Development

10
BCI based AI for Wheelchair
Brain Controlled Intelligent Assistive Based Bio-Feedback Signal
(BIA-BIOS).
Autonomous Wheelchair

11
BIA-BIOS Scheme

Raspicam Raspberry Pi

Ultrasonic

EMG
Arduino Motor
MEGA Driver
IMU

Voice

Brain Signals
Laptop
(EEG)
12
Hardware, Software, Experiment

13
Control and Application

14
Diagram Voice-Controlled
Wheelchair

15
Wheelchair-controlled based BCI:
Prototype

16
BIA-BIOS for Wheelchair
Autonomous Wheelchair

Covid-19: Minimizing the use of personal

17
protective equipment in the hospital
Modified BIA-BIOS for MR-IAT
COVID

18
 MR-IAT Scheme Blood pressure, body
temperature, and
oxygen levels
Kamera
Raspicam Raspberry Pi Monitoring

Moniotor
Ultrasonic

Vision
Arduino Motor
MEGA Driver
IMU

Voice
Sensors
2D Mapping UV
Raspberry Pi3b+
& RPLidar Desinfection RP Lidar

19
Desain MT-IAT

20
Deskripsi Sistem ⚫Diagram Alir Sistem

• Model 3D Sistem

• Diagram Koneksi (Skematik) • Kontrol)

 Pengujian 2D Mapping LIDAR

Gedung I Gedung II

Gedung III
26
Pengujian 2D Mapping LIDAR

27
Pengujian Performans LIDAR

❑Getaran
❑Cermin
❑Jarak
❑Belokan

28
 Visualisasi
Scheme Pengujian

Tata letak objek

Posisi Objek 29
IMU Sensor

pitch, roll, and yaw

PID Controller

Fuzzy & ANFIS

30
IMU based Fuzzy PID Real Time

31
Optimal value of PID controller : IMU

32
Real Time Motor Speed Control Toward
Wall Surface Angle: Ultrasonic

33
Sistem Biosignal Monitoring

34
Pengukuran Heartrate dan Oxygen
Saturation

35
Real Time Object Edge Detection System
Image Processing
Feature Extraction
&
Capture image Preprocessing Classification Output

Billateral Canny Edge Haar-Like Coordinate

Camera Grayscale (x,y)
Filter Detection Feature

36
Obstacle: Table, Pole, Bar

37
Deteksi Masker

38
Components and Connection
 MAIN SENSORS
⚫ MLX90614
⚫ Sensor MLX90614 merupakan sensor suhu
tanpa sentuhan yang umum digunakan
dalam thermogun. Sensor ini memiliki
mengukur dengan mendeteksi radiasi
inframerah dari setiap objek.
⚫ Sensor ini memilliki rentang kerja pada -
70^C hingga 380^C dengan tingkat akurasi
mencapai 0.5^C
⚫ Resolusi Pengukuran = 0.02^C
⚫ SparkFun HeartRate and Pulse Oximeter
⚫ Sensor SparkFun HeartRate dan Pulse
Oximeter merupakan sensor yang
digunakan untuk mengukur detak jantung
per menit dan saturasi oksigen dalam
darah.
⚫ Sensor ini bekerja dengan menangkap sinyal
PPG yang terbentuk dari pantulan
gelombang merah dan inframerah dari
bagian tubuh (jari).
⚫ Kalkulasi pada sinyal PPG dapat
menghasilkan nilai HeartRate, Pulse
Oximeter, Estimated Blood Pressure dan
masih banyak lagi.
SparkFun HeartRate and Pulse Oximeter

Source : https://www.sparkfun.com/products/15219
What is Photoplethysmogram (PPG)?

⚫ A photoplethysmogram
(PPG) is an optically
obtained plethysmogram
that can be used to
detect blood volume
changes in the
microvascular bed of
tissue. A PPG is often
obtained by using a
pulse oximeter which
illuminates the skin and
measures changes in
light absorption.

Source : https://www.eetasia.com/downloads/deep-learning-with-hyper-
filtering-ppg-signal-processing-for-an-efficient-car-driver-drowsiness-
monitoring/
 What PPG Signal can be used for?
⚫ Heart Rate ⚫ Venous assessment
⚫ Blood oxygen saturation ⚫ Endothelial function

⚫ Blood pressure ⚫ Microvascular blood flow

⚫ Cardiac output ⚫ Vasospastic conditions

⚫ Clinical physiological monitoring ⚫ Autonomic function monitoring

⚫ Respiration ⚫ Vasomotor function and thermoregulation

⚫ Vascular assessment ⚫ Blood pressure and heart rate variability

⚫ Arterial disease ⚫ Orthostasis

⚫ Arterial compliance and ageing ⚫ Other cardiovascular variability assessments

 EKSPERIMEN

⚫ Deskripsi : Percobaan yang dilakukan adalah mengukur nilai detak

jantung per menit dan saturasi oksigen dari beberapa subjek

⚫ Tujuan Percobaan:
1)Melihat tingkat akurasi sensor SparkFun HeartRate and Pulse
Oximeter
2)Melihat adanya perubahan tekanan darah dan saturasi oksigen
antara kondisi relax dengan kondisi setelah beraktivitas/olahraga.
3)Mengekstrasi raw data agar dapat digunakan untuk
mengkalkulasi parameter lainnya seperti estimasi tekanan darah.
 Tahapan Percobaan

Pre-Activity Activity(Perlakuan) Post-Activity

Pengukuran HR dan SpO2 Subjek berolahraga hingga Pengukuran HR dan SpO2

Selama +/- 3 menit merasa cukup lelah Selama +/- 3 menit

HR = Detak Jantung per Menit Percobaan dilakukan dengan menggunakan 2 sensor

SpO2 = Saturasi Oksigen :
- Sparkfun (Alat yang diuji)
- YOBEKAN (Alat standar /pembanding)
 Hasil Eksperimen (Rata-Rata)

**Terlihat bahwa semua subjek pada percobaan ini mengalami peningkatan jumlah
detak jantung per menit (BPM), sedangkan saturasi oksigen cenderung mengalami penurunan
**Berdasarkan tabel perbandingan, didapatkan tingkat akurasi rata-rata 98.3% pada pengukuran
heartrate dan 88.45% pada pengukuran saturasi oksigen.
Plot PPG Signal (Raw Data) Example = Subject 9
Program deteksi Masker

Program deteksi masker merupakan sebuah program

computer vision untuk mendeteksi apakah seseorang
menggunakan masker/ tidak menggunakan masker
Program deteksi masker dibuat dengan menggunakan
metode deep learning yang menggunakan arsitektur
Convolutional Neural Network MobileNetv2
Pengujian Program deteksi Masker

Untuk pengujian program masker dilakukan pengujian dengan

3 kondisi dimana
1. Memakai masker dengan tepat (dengan harapan program
mengatakan bahwa masker dipakai)
2. Tidak memakai masker (dengan harapan program
mengatakan bahwa masker tidak dipakai)
3. Memakai masker tanpa menutupi hidung (dengan harapan
program mengatakan bahwa masker tidak dipakai)
Table hasil deteksi masker
Contoh hasil pengujian deteksi masker
Contoh hasil pengujian deteksi masker
Program Pengenalan Wajah

Program pengenalan wajah merupakan sebuah program

computer vision untuk mengenali wajah di dalam citra
dan memberi tahu identitas seseorang di dalam citra
tersebut
Program pengenalan wajah dibuat dengan menggunakan
metode deep learning yang menggunakan arsitektur
Convolutional Neural Network MobileNetv2
Contoh Foto wajah yang dijadikan data
pembelajaran
Hasil training program pengenalan wajah
Kesimpulan
Sistem Medical Robot-Controlled Intelligent Assistive Technology
(MR-IAT) untuk Penanganan Covid-19 telah berhasis dibangun
dan diuji yang dilengkapi dengan kemampuan tracking, lokalisasi,
deteksi wajah pasien, deteksi pengguna masker, deteksi obstacle
(berupa tangga turun, kolong meja, tiang, dan polisi tidur),
pengukuran biosignal (berupa heart rate dan suhu tubuh).

Beberapa dari teknologi pendukung baru berhasil diuji secara

terpisah dengan akurasi diatas 90%. Sedangkan beberapa
teknologi pendukung lainnya seperti UV desinfection, tekanan
darah, dan otomasi laci MR-IAT masih sedang pengembangan.

56