Klasifikasi Pose untuk Penerjemahan Bahasa Tubuh Kinetik dan

Non-Kinetik Menggunakan Mediapipe Holistics serta Scikit Learn

Pose Classification for Kinetic and Non-Kinetic Body Language
Translation Using Mediapipe Holistics and Scikit Learn
Farhan Fathur Ramadhan1, Imam Agus Hardiman 2, Nadya Safitri3, Agus Nursikuwagus, MT.,MM.,MOS.,MTA 4
1,2,3,4
Universitas Komputer Indonesia
Email: farhanframadhan@gmail.com , imamagoes12@gmail.com2, nadya@gmail.com3, agusnursikuwagus@email.unikom,.ac.id4,
1

Abstrak - Bahasa tubuh adalah bahasa yang dihasilkan oleh gerakan tangan, wajah, dan tubuh. Dalam proyek ini kami
menganalisa klasifikasi pose dan mengelompokkannya menjadi dua sumber gerakan, kinetik dan non-kinetik, karena
analisa ini merupakan representasi yang dapat dijelaskan, dan berdimensi rendah. Pada dasarnya, klasifikasi pose ini
menggeneralisasi penampilan dari sebuah individu yang memungkinkan kita untuk fokus pada pengenalan gerakan.
Kami menyajikan penerjemah bahasa tubuh secara real-time yang memprediksi gestur kinetik dan non-kinetik dari
individu tersebut. Program ini diimplementasikan melalui MediaPipe, sebuah framework terbuka lintas platform, berupa
ML yang dapat disesuaikan untuk media live dan streaming, menggunakan library Holistics, yang berisi persepsi
langsung dari pose manusia secara bersamaan, penanda wajah, dan pelacakan tangan secara real-time. Kami merancang
program ini dengan menggunakan klasifikasi pose dan menganalisis bahasa tubuh tersebut berdasarkan datasets yang
sudah ditentukan menggunakan Scikit Learn untuk menunjukkan kualitas akurasi tinggi secara real-time terhadap
bahasa tubuh kinetik dan non-kinetik.

Kata kunci: Bahasa Tubuh, Klasifikasi Pose, Mediapipe Holistics

Abstract - Body language is the language produced by the movements of the hands, face, and body. In this project we
analyze poses and classify them into two sources of movement, kinetic and non-kinetic, because this analysis is an
explainable, low-dimensional representation. Basically, this pose classification generalizes the appearance of an
individual which allows us to focus on movement recognition. We provide a real-time body language translator that
predicts the individual's kinetic and non-kinetic gestures. The program is implemented through MediaPipe, an open,
cross-platform framework, a customizable ML for live media and streaming using Holistics library, which contains live
perception of simultaneous human poses, facial markings, and real-time use of hands. We designed this program using
pose classification and analyzed the body language based on a data set determined using Scikit Learn to demonstrate
high quality accuracy in real-time for kinetic and non-kinetic body language.

Keyword: Body Gesture, Pose Classification, Mediapipe Holistics

I. PENDAHULUAN

Klasifikasi Pose membantu mendeteksi dan memprediksi raut wajah, gerakan tangan, dan gestur tubuh.
Penerjemahan bahasa tubuh dapat membantu perusahaan-perusahaan dalam riset pasar untuk mengukur data dan
menganalisis sifat dan kecenderungan dari suatu individu. Kemampuan untuk menerjemahkan bahasa tubuh dapat
menjadi komponen penting dalam meningkatkan pengalaman pengguna maupun pelanggan di berbagai platform
teknologi. Misalnya bisa membentuk dasar untuk pembelajaran bahasa isyarat dan membentuk informasi digital dalam
augmented reality.
MediaPipe dengan library Holistics menyajikan pelacakan pose tubuh dengan ketelitian tinggi, menyimpan 33
landmark 2D pada tubuh dari bingkai video RGB, menggunakan Scikit Learn. Scikit Learn mendeteksi landmark dari
setiap pose tubuh yang dapat dikonfigurasi untuk mengklasifikasi gerakan kinetik dan non-kinetik pada suatu individu.
MediaPipe dengan library Holistics juga menyajikan solusi pelacakan tangan dan jari dengan ketelitian tinggi,
menyimpan 468 landmark wajah 3D secara akurat dan real-time. Library menggunakan jaringan syaraf untuk
menyimpulkan tampilan 3D, yang hanya membutuhkan satu input kamera, tanpa memerlukan sensor khusus. Misalnya,
dapat membentuk dasar untuk mendeteksi kantuk pengemudi, deteksi bahasa isyarat, dan deteksi bahasa tubuh dalam
wawancara kerja.
 II. LATAR BELAKANG

Dalam latar belakang ini, Kami menyajikan penjelasan komponen utama dari apa yang kami sebut sistem
penerjemah bahasa tubuh. Selanjutnya kami menyiapkan pemodelan input yang tepat (tubuh/gerakan manusia) dan
target (emosi/raut), dan juga menentukan dan mengklasifikasikan gerakan diam sebagai bahasa tubuh non-kinetik dan
gerakan dengan gestur-gestur tertentu sebagai bahasa tubuh kinetik. Library MediaPipe Holistics sudah menawarkan
solusi langsing, cepat dan akurat, untuk kumpulan set data gestur-gestur syaraf, tangan, dan raut wajah.
Menggabungkan semuanya menjadi solusi akhir yang sistematik untuk mendefinisikan suatu gerakan individu yang
kinetik dan non-kinetik
Library MediaPipe Holistics mengintegrasikan model terpisah untuk komponen tubuh yaitu struktur, wajah dan
tangan, yang masing-masing dioptimalkan untuk domain khusus yang dimiliki mereka. Dengan klasifikasi pose, kami
mengambil resolusi yang lebih rendah dan bingkai video resolusi tetap (256x256) sebagai resolusi input. Tetapi jika
suatu individu melakukan gerakan non-kinetik dengan sedikit tersenyum yang sebenarnya membuat gestur tersebut
kinetik, resolusi gambar akan terlalu rendah untuk program kami memberikan artikulasi yang akurat.
Penting untuk kami mengklasifikasi pose suatu individu dengan detektor pose OpenCV, yang kemudian dengan
menggunakan contoh pose yang sudah ditentukan, kami menyiapkan 3 klasifikasi untuk setiap gerakan tangan, dan raut
wajah, pertama ada gerakan non-kinetik-diam, kedua ada gerakan kinetik-wakandaforever, dan terakhir ada gerakan
kinestetik-ngedab. Pekerjaan terkait yang disebutkan diatas, memberikan pengenalan penerjemahan bahasa tubuh
dengan kategori kinetik atau non-kinetik, menggunakan Library MediaPipe Holistics untuk raut wajah, tangan, dan
gestur dapat terdeteksi. Kami memproses gambar menggunakan Library ML OpenCV dan menggabungkannya untuk
memberikan output yang diperlukan menggunakan Library ML Scikit-Learn.

III. METODE PENELITIAN

A. Pengerjaan
Kami menjalankan program pada jupyter notebook IDE. Ketika program berjalan, kamera memulai menangkap
gerakan suatu individu yang terdeteksi. Program membaca koordinat/titik-titik dari tubuh menggunakan MediaPipe
Holistic dan kemudian membandingkannya dengan set data yang sudah dilatih menggunakan dependensi Scikit-Learn
yang diekspor bernama coords.csv.
Kemudian program memprediksi gerakan individu yang terdeteksi kamera secara real-time berdasarkan data
koordinat tubuh yang sudah dilatih dan direkam sebelumnya. Selain itu, pose di klasifikasi serta di label untuk status
gerakan yang kinetik dan non-kinetiknya yang diproses/di render menggunakan modul OpenCV. Setelah
koordinat-koordinat tersebut direkam, kemudian dikelompokkan dan dievaluasi kembali menggunakan library pickle
berdasarkan file body_language.pkl.

B. Modul Sistem
(0) Instal dan impor dependensi: Pada langkah ini mediapipe, opencv, pandas dan scikit-learn diinstal dan diimpor ke
jupyter notebook IDE.
(1) Melakukan beberapa deteksi: Disini jendela webcam dibuka menggunakan cv2 dan spesifikasi seperti warna dan
ketebalan wajah kita, syaraf tangan dan pose disebutkan/dimodifikasi.
(2) Merekam titik/koordinat dan ekspor ke CSV: Di sini berbagai koordinat ekspresi wajah dan gerakan tubuh ditangkap
dan diekspor ke file csv bernama coords.csv.
(3) Melatih model khusus menggunakan Scikit Learn: Disini data yang dikumpulkan dibaca dan diproses untuk melatih
klasifikasi kinetik dan non-kinetik dengan ML. Model tersebut kemudian dievaluasi dan diserialkan.
(4) Melakukan deteksi dengan model khusus: Program saat dijalankan, dapat membuat prediksi gerakan individu
menggunakan klasifikasi kinetik dan non-kinetik
 IV. TESTING

Pengujian perangkat lunak adalah penyelidikan yang dilakukan untuk memberikan informasi kepada pemangku
kepentingan tentang kualitas produk atau layanan yang diuji. Pengujian perangkat lunak juga dapat memberikan
pandangan yang objektif dan independen dari perangkat lunak untuk memungkinkan bisnis menghargai dan memahami
risiko implementasi perangkat lunak. Teknik pengujian termasuk, tetapi tidak terbatas pada, proses menjalankan
program atau aplikasi dengan maksud untuk menemukan bug perangkat lunak (kesalahan atau cacat lainnya). Pengujian
perangkat lunak dapat memberikan informasi yang objektif dan independen tentang kualitas perangkat lunak dan resiko
kegagalannya kepada pengguna dan/atau sponsor.

Tabel 4.1 Test Cases Representation

No Deskripsi Input Expected value Actual value Result

1 Membaca pergerakan non tidak ada tertulis label/keterangan Non kinetik (diam) sukses
kinetik (diam) pergerakan non kinetik (diam) [0.91]

2 Membaca pergerakan kinetik Pergerakan Tertulis label/keterangan Kinetik-NgeDab sukses

‘Nge-Dab’ di bagian ‘Nge-Dab’ kinetik-NgeDab [0.94]
pergelangan tangan

3 Membaca pergerakan kinetik Pergerakan Tertulis label/keterangan Kinetik-Wakanda sukses

menyilangkan bagian ‘silang kinetik – Wakanda Forever [0.98]
pergelangan tangan tangan/wakanda forever
(Wakanda forever pose) forever’

V. HASIL DAN PEMBAHASAN

Gambar 5.1 Gerakan Kinetik Wakanda Forever Gambar 5.2 Gerakan Kinetik NgeDab

Gambar.5.3 Gerakan Non Kinetik Diam

 Gambar 5.4 kode csv (koordinat lengkap tersimpan di lembar excel)

VI. KESIMPULAN DAN SARAN

Mendeteksi dan menganalisis bahasa tubuh mendapatkan banyak perhatian akhir-akhir ini. Mampu
mendeteksi dan menganalisis ekspresi wajah klien/pelanggan membantu bisnis dan tim pemasaran untuk
mendapatkan ulasan dan masukan yang jujur. Tapi ekspresi wajah hanyalah sebagian kecil dari bahasa tubuh.
Bahasa tubuh terdiri dari elemen lain seperti gerakan tangan dan pose tubuh. Dan bahasa tubuh memainkan
peran yang sangat penting dalam komunikasi.
Karena proyek ini mendukung deteksi landmark tangan secara real time, deteksi bahasa isyarat
tangan juga dapat diterapkan. Tidak hanya itu, dengan menggunakan proyek ini, implementasi proyek yang
sudah ada seperti deteksi kantuk pada pengemudi, deteksi tindakan, dll dapat menjadi lebih mudah dengan
hasil yang jauh lebih baik. Dengan melihat keakuratan yang dihasilkan dapat disimpulkan juga bahwa proses
klasifikasi pose bisa membantu dalam mengklasifikasikan pose manusia dimana tiap pose mempunyai
tingkat kemiripan yang tinggi.
 VII. DAFTAR PUSTAKA

[1] S. R. Karem, S. P. Kanisetti, D. K. Soumya, J. G. Seelamanthula and M. Kalivarapu, "IJARIIT (International Journal
Of Advance Research, Ideas And Innovations In Technology)," 2021. [Online]. Available: www.IJARIIT.com.
[2] A. Kanodia, P. Singh, D. Rajesh and G. Malathi, "INDIAN SIGN LANGUAGE USING HOLISTIC POSE
DETECTION," Turkish Journal of Physiotherapy and Rehabilitation.
[3] U. Bahukhandi and D. Gupta, "IRJMETS (International Research Journal of Modernization in Engineering
Technology and Science)," 2021. [Online]. Available: www.irjmets.com.