BAB 1.

PENDAHULUAN

1.1 Latar Belakang

Sebanyak 7,03% dari penyandang disabilitas di Indonesia merupakan penyandang disabilitas
tunarungu (Harpini, 2019). Berdasarkan data dari Riset Kesehatan Dasar (Rikesdas) yang
diperoleh dari Badan Penelitian dan Pengembangan Kesehatan (Balitbangkes) dinyatakan
bahwa proporsi tunarungu dan tunawicara dari lahir pada anak umur 24-59 bulan di Indonesia
yaitu sebesar 0,11% dan 0,15% (Harpini, 2019). Tunarungu merupakan salah satu bentuk
disabilitas sensorik di mana penderitanya mengalami hambatan menangkap pendengar dan
kekurangan dalam hal mendengar sehingga menghambat proses berbicara dan berbahasanya
(Adi, Riski, 2019). Menurut Heri Purwanto dalam buku Ortopedagogik Umum (1998)
tunawicara adalah seseorang mengidap kelainan baik dalam pengucapan (artikulasi) bahasa
maupun suaranya dari bicara normal, sehingga menimbulkan kesulitan dalam berkomunikasi
lisan dalam lingkungan masyarakat.

Bahasa isyarat menjadi jembatan untuk penyandang tunarungu dan tunawicara untuk
berkomunikasi kepada orang lain. Terdapat dua sistem bahasa isyarat yang digunakan di
Indonesia yaitu BISINDO (Bahasa Isyarat Indonesia) dan SIBI (Sistem Isyarat Bahasa
Indonesia). BISINDO dikembangkan oleh orang tunarungu sendiri melalui GERKATIN
(Gerakan Kesejahteraan Tuna Rungu Indonesia). BISINDO digunakan sebagai bahasa isyarat
dalam komunikasi sehari-hari bagi penyandang tunarungu dan tunawicara dengan
menggunakan gerakan kedua tangan dan ekspresi wajah. SIBI dikembangkan oleh orang
normal, bukan penyandang tunarungu (Susanty, Fadillah and Irawan, 2021). SIBI sama
dengan bahasa isyarat yang digunakan di Amerika yaitu American Sign Language (ASL)
(Maulida, 2017).

GERKATIN berharap agar pemerintah dapat meningkatkan aksesibilitas tunarungu dengan

menambah jumlah penerjemah serta memperluas pemahaman BISINDO di masyarakat luas
(Abraham, 2015). Beberapa upaya yang dilakukan untuk memperluas pemahaman bahasa
BISINDO di masyarakat adalah membuka pelatihan bahasa isyarat BISINDO untuk umum
(Susanty, Fadillah and Irawan, 2021). Kendala komunikasi penderita tunarungu atau
tunawicara dengan orang normal adalah informasi yang disampaikan tidak dapat dipahami
karena tidak semua orang paham dengan bahasa isyarat (Borman and Priyopradono, 2018).
Maka dari itu dibutuhkan alat yang mampu menerjemahkan bahasa isyarat secara langsung
yang dapat membantu orang normal untuk memahami maksud yang disampaikan pengguna
bahasa isyarat.

Sebelumnya telah diciptakan alat penerjemah bahasa isyarat seperti penerjemah bahasa
isyarat menggunakan kamera pada smartphone (Andrian, Purwanto and Mardiyanto, 2017)
dan alat penerjemah bahasa isyarat (BISINDO) dengan metode Principal Component
Analysis (PCA) (Borman and Priyopradono, 2018). Pada alat pertama untuk memperoleh
terjemahan yang akurat perlu dipastikan kontras citra antara tangan dan latar belakang tinggi
serta selama proses penerjemahan tangan dan smartphone tidak boleh bergerak (Andrian,
Purwanto and Mardiyanto, 2017). Pada alat kedua ini hanya mampu menerjemahkan bahasa
isyarat BISINDO yang berupa huruf (Borman and Priyopradono, 2018).

Inovasi yang ditawarkan pada produk yang akan dirancang dilihat dari teknologi yang
digunakan dan metode penerjemahan. Alat yang akan dibuat menggunakan teknologi VR
(Virtual Reality) dengan fitur utama mengubah gestur tangan menjadi huruf dan kata. Alat ini
didukung dengan teknologi computer vision yang dilengkapi dengan kamera untuk
menangkap frame gestur tangan lawan bicara. Frame dari kamera akan dilanjutkan dengan
pengolahan citra untuk melakukan proses pengenalan tangan dan pengenalan gerakan dengan
menggunakan OpenCV Python untuk mendapatkan hasil terjemahannya. Hasil terjemahan
akan diunggah ke cloud. Alat yang dirancang adalah sebuah kacamata pintar yang mampu
menerjemahkan gerakan bahasa isyarat dengan sistem bahasa BISINDO dan SIBI dengan
input berupa gambar dan teks sebagai keluaran yang muncul pada lensa kanan kacamata.

1.2 Perumusan Masalah

Untuk memperlancar komunikasi dengan pengguna bahasa isyarat tanpa harus

menguasainya. Maka dirancanglah sebuah alat mampu menerjemahkan bahasa isyarat berupa
kacamata pintar yang diperuntukkan kepada orang yang tidak menguasai bahasa isyarat
dengan cepat, benar, serta portable. Oleh karena itu, pada kegiatan kali ini dirumuskan
sebuah masalah sebagai berikut:

1. Bagaimana membuat alat yang mampu untuk menerjemahkan bahasa isyarat secara
cepat menjadi bentuk teks?

2. Bagaimana menampilkan hasil terjemahan ke layar kacamata?

1.3 Tujuan

Berdasarkan rumusan masalah di atas, agar mempermudah orang yang tidak paham bahasa
isyarat berkomunikasi dengan pengguna bahasa isyarat, maka kegiatan ini ditujukan sebagai
berikut:

1. Membuat alat yang mampu untuk menerjemahkan bahasa isyarat secara cepat menjadi
bentuk teks.

2. Menampilkan hasil penerjemahan ke layar kacamata.

1.4 Manfaat

Manfaat yang diperoleh dari PKM-KC ini adalah sebagai berikut:

1. Bagi mahasiswa yang mengikuti kegiatan. Kegiatan ini melatih mahasiswa untuk
menjadi pribadi yang taat aturan. Kegiatan ini juga meningkatkan kreativitas serta
kemampuan mahasiswa dalam membuat dan menghasilkan sebuah produk yang berguna
bagi banyak orang.
 2. Bagi Masyarakat. Produk yang dihasilkan pada kegiatan ini bermanfaat untuk
mempermudah komunikasi sehari-hari dengan orang pengguna bahasa isyarat karena
tidak perlu menguasai bahasa isyarat untuk memahami maksud orang yang menggunakan
bahasa isyarat.
3. Bagi perkembangan IPTEK. Produk yang dihasilkan mampu mempermudah
komunikasi dengan pengguna bahasa isyarat.

BAB 2. TARGET LUARAN

Luaran dari kegiatan PKM-KC ini adalah :

1. Produk Fungsional: Luaran wajib dari PKM-KC ini yaitu produk fungsional
(Kacamata yang bisa menerjemahkan bahasa isyarat) telah selesai dibuat. Kontribusi
dari alat ini untuk memudahkan orang yang awam dengan bahasa isyarat untuk
berkomunikasi dengan penyandang tunarungu dan tunawicara. Alat ini akan
menerjemahkan bahasa isyarat dengan menggunakan computer vision yang
terintegrasi dengan machine learning untuk membaca hasil tangkapan kamera dan
menyesuaikannya dengan dataset yang telah dikumpulkan.
2. Draft Paten: Draft paten sudah selesai ditulis dan telah diajukan untuk didaftarkan
kepemilikan hak cipta Produk di Kementerian Hukum dan Hak Asasi Manusia
Republik Indonesia untuk memperoleh sertifikat HKI. (lampirkan form
pengumpulan)
3. Buku Pedoman penggunaan Kacamata Penerjemah : (Buku pedoman penggunaan
Kacamata Penerjemah ini telah selesai dibuat).Buku ini berisi spesifikasi dan cara
penggunaan dari alat yang sudah dibuat. Buku pedoman penggunaan alat ini bertujuan
sebagai panduan bagi pengguna saat berkomunikasi dengan penyandang disabilitas. .
4. Akun Media Sosial: Telah dibuat akun media sosial Instagram. @glostranpkmkc
5. Laporan Kemajuan: Laporan kemajuan telah selesai dibuat dengan memaparkan
tahapan seluruh kegiatan dan sudah memenuhi semua luaran yang di targetkan.
6. Laporan Akhir: Laporan akhir telah dibuat (80%).
7. Artikel ilmiah telah si submit di jurnal ini(tidak merupakan luaran wajib)

BAB 3. TAHAP PELAKSANAAN

Penelitian ini ditargetkan menghasilkan kacamata penerjemah yang mampu menerjemahkan

bahasa isyarat secara Real Time. Produk Kacamata ini diharapakan mampu bekerja sesuai
dengan fungsinya. Fase implementasi merupakan fase akhir dari PKM-KC. Diharapkan
produk yang dibuat mampu berfungsi dengan baik agar dapat menghasilkan produk yang
fungsional. Oleh karena itu, perlu dilakukan beberapa tahapan untuk mencapai fase tersebut.
3.1 Pembuatan Produk Fungsional
Tahapan yang dilakukan dalam pembuatan fungsional produk ialah pengumpulan data
sekunder, penetapkan spesifikasi rancangan produk, penyusunan desain teknis, perancangan
sistem, pembuatan dan implementasi produk, evaluasi dan perbaikan.
3.1.1 Pengumpulan Data Sekunder
 Pengumpulan data sekunder dilakukan untuk memperoleh informasi tambahan
mengenai variasi gestur tangan dan penelitian yang berkaitan dengan bahasa isyarat.
Pengumpulan data sekunder juga diperlukan untuk gambaran desain dan rancangan awal.
3.1.2 Menetapkan Spesifikasi Rancangan Produk
Spesifikasi rancangan produk dibuat untuk menjawab tujuan yang ingin dicapai.
Spesifikasi rancangan produk dibuat dengan metode objective tree seperti pada gambar 3.1.

Gambar 3.1 Objective Tree Diagram Kacamata Pintar Berbasis VR (Virtual Reality)
Sebagai Alat Penerjemah Bahasa Isyarat Terintegrasi Machine Learning

3.1.3 Menyusun Desain Teknis dan Perancangan Sistem

Desain teknis disusun untuk mendapatkan spesifikasi produk yang diinginkan. Desain teknis
merupakan gambaran dari perancangan yang dibuat. Ilustrasi desain teknis dapat dilihat pada
lampiran 5. Sistem yang dirancang akan dijadikan dua tahapan, perancangan perangkat keras
dan perangkat lunak.
Perancangan perangkat keras berupa memilih komponen elektronika dan desain mekanikal
alat. Perancangan perangkat lunak meliputi pembuatan program penerjemah, pemrograman
tampilan pada lensa kacamata, perancangan sistem Computer Vision.
3.1.4 Pembuatan dan Implementasi Sistem
Sistem yang telah dirancang akan dibuat dengan tahapan merangkai komponen
elektronika, memprogram pengambilan gambar yang diintegrasikan dengan ESP 32-CAM,
membuat program penerjemah, membuat tempat untuk menampilkan hasil terjemahan,
menampilkan diagram alir dan penjelasan mekanisme kerja sistem terlampir pada lampiran
5. Implementasi dari sistem yang telah dibuat ada 3 yaitu, Presampling dan Segmentasi
tangan, Ekstraksi Fitur, dan Training Set.

3.4.1.1 Ekstraksi Fitur

Fitur yang digunakan untuk mewakili tangan adalah fitur tingkat rendah, yang pada
dasarnya vektor jari. Hal ini diperlukan untuk mengetahui lokasi pusat palm dan ujung jari.
Beberapa fungsi Open CV dapat langsung mengembalikan kontur dan cembung hull point
tangan dari gambar biner yang mengandung sisi tersegmentasi. Menggunakan koordinat di
bawah ini dan kotak melompat-lompat, Pusat dan jari-jari lingkaran tertulis dari kontur tebing
bisa dihitung.
Lokasi dari ujung jari dihitung menggunakan titik-titik konveks. Untuk melakukannya,
titik-titik konveks dieliminasi dengan memeriksa kendala pada kedalaman dan sudut poin
yang cacat dan sebagainya, seperti yang ditunjukkan pada gambar di atas. Selanjutnya Cacat
poin kiri adalah mengatur kembali dan ujung jari yang diperoleh dari koordinat kembali
Open CV fungsi. Akhirnya vektor jari dihitung dan dibagi dengan jari-jari lingkaran inscribe
untuk mendapatkan vektor fitur akhir. ( Tambahkan Gambar )

3.4.1.2 Training Set

Produk yang dibuat akan dilatih untuk mengumpulkan data sebanyak mungkin seperti
gambar

Pada proses di atas pada penelitian ini menggunakan metode realtime keypoint classifier,
artinya proses pengambilan data dapat langsung melalui aplikasi dan langsung menggunakan
gestur tangan dengan bantuan hand landmark untuk menentukan titik koordinat pada jari.
Dengan menekan tombol angka “1” pada keyboard akan mengaktifkan mode keylogging dan
menekan tombol huruf yang akan dipelajari oleh mesin untuk menyimpan titik koordinat ke
file csv. Setelah dilakukan proses pengambilan data maka akan dilakukan preprocessing data
yang akan dilakukan dengan membuat hand landmark.

Titik-titik pada jari tersebut akan diubah menjadi index koordinat dan kemudian akan
disimpan dalam bentuk file csv.

3.1.5 Pengujian Produk dan Evaluasi

 Produk yang dibuat telah diuji keandalannya sebagai standar kelayakan produk.
Pengujian yang dilakukan akan di fokuskan pada pengujian ketepatan hasil terjemahan.
Seluruh hasil pengujian dicatat dan dianalisis guna menjadi bahan evaluasi dan nantinya akan
dilakukan perbaikan produk. Untuk menghitung confussion matrix perlu membandingkan
prediksi model dengan label kelas yang sebenarnya. Misalkan memiliki dataset yang terdiri
dari N instance dengan dua kelas: positif (P) dan negatif (N). Dengan memasukkan nilai nilai
TP, FN, FP dan TN ke dalam rumus confussion matrix dapat membuat tabel kontigensi yang
akan memberikan gambaran lengkap tentang performa model klasifikasi, kemudian dapat
digunakan untuk menghitung berbagai metrik evaluasi seperti akurasi, presisi, recall, F1-
Score.perti akurasi, presisi, recall, F1-Score. Hasil pengujian sistem menunjukkan hasil
akurasi yang sangat baik yaitu sebesar 85% pada jumlah data sebanyak 1000 data dan 1500
data, pada kedua percobaan menggunakan 1000 dan 1500 data memiliki persamaan perolehan
akurasi, sedangkan pada percobaan dengan menggunakan 500 data memperoleh tingkat
akurasi sebesar 75% pada percobaan tersebut sistem mengalami penurunan tingkat akurasi
sebanyak 10% hal ini disebabkan karena adanya pengurangan jumlah data yang sangat
drastis. Pada pengujian data, jumlah data terbaik yang dapat dipakai aplikasi sebanyak kurang
lebih 1000 data karena jika menggukana dat adibawah 1000 akan menurunkan akurasi rata-
rata pada sistem pengujian tetapi jika menggunakan data diatas 1000 akurasi tidak bertambah.

BAB 4. HASIL YANG DICAPAI

4.1 Kesesuaian Jenis

Dari penelitian ini telah berhasil dibuat suatu produk kacamata penerjemah bahasa
isyarat yang mampu menerjemahkan bahasa isyarat secara Real Time untuk orang awam yang
tidak mengerti bahasa isyarat. Hasil dari penelitian ini sudah sesuai dengan target yang ingin
dicapai.

4.2 Implementasi Kegiatan

Implementasi Kegiatan PKM-KC dapat dilihat pada Tabel 4.2 berikut.
No Kegiatan Realisasi Pencapaian (%)
.
1. Diskusi bersama Diskusi bersama terkait teknis 90%
pembuatan alat secara fungsional.
Diskusi dilakukan untuk
memecahkan solusi dari
permasalahan yang ada. Diskusi
dilakukan membahas algoritma
program, desain produk dan cara
penggunaan produk
2. Penyusunan Desain teknis yang telah disusun 100%
Desain Teknis, telah diimplementasikan menjadi
Rancangan alat penerjemah bahasa Isyarat.
awal, dan
 Implementasi
Produk
3. Pengujian Terdiri dari dua garis besar 90%
Produk pengujian. Pertama, pengujian
terhadap kemampuan kamera
mengidentifikasi gestur tangan
sehingga bisa di proses
terjemahannya. Kedua, pengujian
terhadap kesesuaian arti gestur
tangan dengan hasil terjemahan
yang di tampilkan di lensa.
4. Evaluasi Evaluasi telah dilakukan untuk 90%
memperbaiki alat agar
meningkatkan akurasi dan
kemudahan penggunaan alat.

4.3 Ketercapaian Luaran

Target Luaran dari penelitian ini sudah terpenuhi 85%. Persentase pencapaian luaran
kegiatan PKM-KC dapat dilihat pada Tabel 4.3. Dokumentasi kegiatan PKM-KC dapat
dilihat pada Lampiran 2.

No Luaran Realisasi Pencapaian

Kacamata Pintar berbasis VR(Virtual
1. Produk Fungsional Reality) Sebagai Alat Penerjemah Bahasa
Isyarat Terintegrasi Machine Learning
(Kacamata 100%
Penerjemah) telah selesai dibuat hingga tahap
pengujian, evaluasi dan penyempurnaa
alat.
Laporan kemajuan telah selesai dibuat
2. Laporan Kemajuan dalam waktu 1 bulan. Laporan Akhir
dibuat untuk melihat sejauh mana
100%
kegiatan PKM-KC yang dilakukan
terlaksana sesuai dengan perencanaan
awal kegiatan.
Buku pedoman aplikasi produk telah
3. Buku Pedoman selesai dibuat berisi deskripsi singkat
Aplikasi Produk mengenai fitur, spesifikasi komponen,
dan spesifikasi perangkat lunak. Pada
buku pedoman ini juga dilihatkan bagian- 100%
bagian alat dan cara pengoperasian
 Kacamata Penerjemah ini. Buku
pedoman ini berguna untuk memudahkan
pengguna dalam pengoperasian alat.

4. Draft Paten Sistem yang telah dibuatkan draft paten

untuk didaftarkan. Hak paten bertujuan
untuk memperoleh perlindungan hukum 100%
atas setiap karya intelektual di bidang
teknologi, sehingga terjamin hak
kepemilikan pemegang paten

5. Akun sosial media Akun Media Sosial telah dibuat dan terus
memberikan perkembangan terkini dari
progres tim PKM-KC, akun media sosial 100%
telah mempublikasikan konten wajib di
tanggal 15 setiap bulannya.

6 Laporan Akhir Laporan Akhir memuat seluruh kegiatan

PKM-KC dari dinyatakan kelukusan
hingga alat selesai dibuat dan di ujikan 80%
serta diimplementasikan secara langsung
pada Kacamata Penerjemah Bahasa
Isyarat ini.

BAB 5. POTENSI HASIL

5.1 Artikel ilmiah
Artikel ilmiah dari penelitian ini telah disubmit pada jurnal … (bukti submit terlampir).
5.2 Peluang Paten
Kacamata penerjemah telah didaftarkan di Kementerian Hukum dan Hak Asasi Manusia
Republik Indonesia untuk mendapatkan hak paten.
5.3 Manfaat Terhadap Pemerintah
Kacamata Penerjemah Bahasa Isyarat ini sangat bermanfaat bagi pemerintah dalam hal
peningkatan mutu pelayanan masyarakat.
5.4 Manfaat Terhadap Masyarakat
Kacamata Penerjemah Bahasa Isyarat ini sangat bermanfaat untuk masyaratakat yang tidak
mengerti bahasa isyarat karena dengan kacamata ini dapat membantu masyarakat untuk
berkomunikasi dengan pengguna bahasa isyarat.
5.5 Publikasi Media Elektronik
Kacamata penerjemah ini telah di publikasikan pada salah satu media elektronik
Instagram @glostranpkmkc sebagai sarana informasi dan pembelajaran bagi pembaca.
5.6 Manfaat Database
Database yang telah dikumpulkan dapat menjadi bahan referensi bagi yang ingin
mengembangkan produk lain yang menggunakan bahasa isyarat.

BAB 6. RENCANA TAHAPAN BERIKUTNYA

6.1 Penambahan variasi gestur pada teknologi yang sudah dibuat
Kacamata Penerjemah Bahasa Isyarat yang telah di buat, perlu untuk disempurnakan
dengan memperkaya variasi terjemahannya.
6.2 Persiapan Mengikuti PKP2
6.3 Pembuatan Laporan Akhir

Lampiran 1. Penggunaan Dana

Tanggal Material Kuantitas Harga Pengeluaran Foto Kwitansi
Satuan (Rp.)
(Rp.)
15 Juli Biaya 3 hari 33.000 99.000
2023 Promosi
postinga
n
instagra
m
Pengenal
an
Program
Biaya 3 hari 33.000 99.000
Promosi
postinga
n
instagra
m
Konten 1
Biaya 2 hari 33.000 66.000
Promosi
postinga
n
instagra
m
Konten 2
Biaya 4 hari 33.000 132.000
Promosi
postinga
n
instagra
m
Konten 3
06 JUMPE 30 buah 1.000 30.000
Septemb R MALE
er 2023 TO
MALE
JUMPE 30 buah 1.000 30.000
R
FEMAL
E TO
FEMAL
E
JUMPE 30 buah 1.000 30.000
R MALE
TO
FEMAL
E
20 Filamen 2 buah 259.000 518.000
Agustus 3D
2023 Printing
Ongkos 1 kali 21.700 21.700
Kirim

5V 2 buah 4.800 9.600

Micro
USB 1A
Lithium
Battery
Charging
+
Protectio
n
Module
6 Batrai 10 Buah 8.000 80.000
Agustus LiOn
2022 Ongkos 1 Kali 4.680 4.680
Kirim

8 Paket 2 paket 300.000 600.000

Agustus Lengkap
2022 Solder
60Watt
14 in 1
Dudukan
Timah
Sedotan
Multimet
er
9 Solder 2 set 150.000 300.000
Agustus Listrik 60
2022 Watt
Paket
Set Kit
Lengkap
Tas 220v
-
SOLDER
KIT
18 ARDUIN 3 buah 77.500 232.500
Agustus O PRO
2022 MINI V3
ATMEG
A328P
5V
BOARD
23 Ov5640 1 buah 400.000 400.000
Agustus Kamera
2022 ule Wide
Angle
DVP
Interface
5mp
untuk
ESP32
1.5 Inch 1 buah 350.000 350.000
Transpar
ent
OLED
ESP 2 Buah 101.500 203.000
CAM +
DEV
BOARD
Total 3.205.070
Lampiran 2. Bukti-Bukti Pendukung Kegiatan
1. Lampiran kwitansi
2. foto foto kegiatan
3. submit artikel harus
4. buku pedoman
5. kasih keteman lain untuk check typo
6. Coba check lagi pendahuluan ( ubah bahasa proposal ke bahasa laporan ) jangan ada
akan , bilang kalimatnya telah dilakukan

Diskusi Tim

Pengumpulan Data Sekunder dan Studi Literatur