Penggunaan Computer Vision sebagai Absensi

dengan Senyum guna Meningkatkan Hormon

Endorfin
Khaula Sayyidatunadia
Fakultas Teknologi Maju dan
Multidisiplin
Universitas Airlangga
Surabaya, Indonesia
khaula.sayyidatunadia-2021@ftmm.unair
.ac.id
Rifqy Nurkoliq
Fakultas Teknologi Maju dan
Multidisiplin
Universitas Airlangga
Surabaya, Indonesia
rifqy.nurkholiq-2021@ftmm.unair.ac.id
M.Adnan Bayu Firdaus
Fakultas Teknologi Maju dan
Multidisiplin
Universitas Airlangga
Surabaya, Indonesia
muhammad.adnan.bayu-2021@ftmm.un
air.ac.id

Abstrak- Penelitian ini mengusulkan penerapan Computer Vision
sebagai sistem absensi berbasis senyuman karyawan untuk
meningkatkan hormon endorfin dan kesejahteraan mental di
lingkungan kerja. Menggunakan teknologi pengenalan wajah
dengan model convolutional neural network bernama DeepFace,
penelitian fokus pada merekam kehadiran karyawan dan
menganalisis ekspresi wajah, terutama senyuman. Hasil uji dan
evaluasi menunjukkan bahwa sistem dapat memverifikasi wajah
dan mendeteksi senyuman dan emosi, dengan potensi
meningkatkan kesejahteraan mental. Meskipun berhasil, perlu
pengujian lebih lanjut untuk meningkatkan akurasi dan
memperluas database. Penelitian ini berkontribusi pada inovasi
untuk menciptakan lingkungan kerja positif, sejalan dengan tujuan
Pembangunan Berkelanjutan terkait kesehatan. Hasil pengujian
dan evaluasi sistem pada penelitian ini menunjukan bahwa
akurasi sistem pengenalan wajah memiliki sekitar 80%,
menunjukan bahwa sistem mampu membaca emosi dan
merekam presensi untuk karyawan.
Key word : Senyum, Absensi,Convolutional neural network,
I. PENDAHULUAN
Salah satu target utama dalam Agenda Pembangunan
Berkelanjutan (SDGs) 2015-2030 adalah menanggulangi isu
kesehatan dan kesejahteraan (MDGs). Dengan 17 poin SDGs
sebagai panduan utama, setiap negara diharapkan
mengimplementasikan agenda ini guna mencapai tujuan
pembangunan berkelanjutan[1]. Meskipun demikian, diskusi
seputar masalah kesehatan masih sering terfokus pada aspek
fisik, menyisakan kurangnya perhatian pada kesehatan mental
yang memiliki peran krusial dalam berbagai interaksi dan
kegiatan sehari-hari. Peningkatan kesadaran dan dukungan
terhadap kesehatan mental menjadi penting dalam mencapai
tujuan SDGs terkait kesehatan, melibatkan peran aktif dari
perusahaan dan pemerintah. Karyawan, sebagai bagian
integral dari masyarakat, memainkan peran penting dalam
proses ini. Oleh karena itu, diharapkan upaya bersama untuk
menciptakan lingkungan kerja dan masyarakat yang
mendukung kesejahteraan mental, dengan memberikan
perhatian serius pada isu-isu psikologis dan meningkatkan
pemahaman tentang pentingnya kesehatan mental dalam
mencapai tujuan pembangunan berkelanjutan secara holistik.
Fakta menunjukkan bahwa seorang karyawan
menghabiskan setidaknya sepertiga dari waktunya di
lingkungan kerja. Oleh karena itu, kondisi di tempat kerja
dapat berdampak signifikan pada kehidupan pribadi karyawan.
Dengan demikian, setiap perusahaan diharapkan untuk
memberikan perhatian yang serius terhadap Keselamatan dan
Kesehatan Kerja (K3) tenaga kerja. Peraturan Menteri Tenaga
Kerja Republik Indonesia Nomor 5 Tahun 2018 tentang
Keselamatan dan Kesehatan Lingkungan Kerja menyajikan
regulasi pemerintah terbaru mengenai K3[2]. Di dalam
peraturan tersebut, berbagai langkah yang diambil untuk
menjamin dan menjaga keselamatan pekerja, melalui upaya
pencegahan penyakit dan kecelakaan kerja baik secara fisik,
kimia, ergonomi, maupun psikologi, semuanya termasuk
dalam ruang lingkup pemantauan dan pengendalian
lingkungan kerja.
Pentingnya memberikan perhatian khusus terhadap
manajemen sumber daya manusia tidak hanya mencerminkan
investasi substansial bagi perusahaan, tetapi juga menjadi
faktor penentu dalam menjaga keberlangsungan operasional
yang stabil [3]. Fokus pada pengembangan sumber daya
manusia akan menghasilkan dampak positif yang dapat
meningkatkan kinerja keseluruhan dari para karyawan,
kesehatan, dan kesejahteraan. Kondisi mental yang tidak stabil
dapat menghambat karyawan dalam mencapai potensi
maksimalnya.
Senyuman membentuk bagian yang indah dalam
proses manusia, dimulai dari rangsangan yang kemudian
diresapi oleh panca indera kita. Proses ini menghasilkan energi
besar dalam hati, mendorong terciptanya senyuman (Tajn,
1984). Perspektif lain dari ahli menyatakan bahwa senyuman
adalah perubahan ekspresi wajah yang menandai mata
bersinar, sudut mulut yang melengkung ke atas tanpa suara,
menciptakan perasaan kegembiraan, kesenangan, kasih
sayang, persetujuan, kendali emosi, dan berbagai macam
emosi lainnya (husley, 1970). Ketika seseorang tersenyum,

1
hipotalamus dalam otak aktif dan merangsang hipofisis
(kelenjar pituitari) untuk melepaskan hormon endokrin yang
terkait dengan perasaan senang, khususnya hormon endorfin
beta-endorphin. Hipotalamus merupakan bagian otak yang
mengatur berbagai fungsi tubuh, termasuk makan, minum,
fungsi dan perilaku seksual, tekanan darah, ritme jantung,
siklus tidur, serta status emosional[4].
Dengan diterapkannya sistem presensi menggunakan
face recognition yang berfokus pada wajah tersenyum, pekerja
diharapkan selalu tersenyum untuk merangsang pelepasan
hormon endorfin dan mengaktivasi bagian otak, khususnya
hipotalamus. Selain mendukung kesejahteraan mental melalui
penggunaan teknologi ini, sistem face recognition juga
berkontribusi pada pembentukan budaya kerja yang nyaman,
di mana senyuman menjadi bagian penting dalam proses
presensi. Selain manfaat tersebut, sistem ini juga berperan
dalam mengamankan integritas data karyawan dengan
mengurangi potensi manipulasi data atau kecurangan.
B. Perancangan Sistem
II. METODOLOGI
Pada penelitian ini terdapat beberapa proses dan
metode yang dilakukan untuk mengidentifikasi sebuah wajah
melalui gestur tersenyum guna menurunkan stress kerja seperti
identifikasi permasalahan, pengumpulan data, sampai uji
sistem. Berikut tahapan - tahapan tersebut :
Diagram Alur kerja penelitian
2
A. Pengumpulan Data
Dari diagram alur tersebut pengumpulan
data yang penulis gunakan didapatkan dari tinjauan
pustaka/studi literatur terkait dengan keterkaitan
antara mood karyawan, hormon endorfin, dan
dampaknya terhadap kinerja di lingkungan kerja.
Data diperoleh melalui buku-buku, jurnal, dan
berbagai laporan untuk mendapatkan gambaran
teoritis yang mendalam sebagai dasar acuan dalam
pembuatan laporan penelitian.
Selain itu, metode observasi juga diterapkan.
Pengamatan langsung dilakukan pada sistem presensi
yang sudah ada untuk mengevaluasi efektivitas dan
efisiensi alat tersebut dalam mengelola absensi.
Dengan demikian, pengumpulan data ini akan
memberikan perspektif holistik baik dari segi teoritis
maupun praktis terkait permasalahan yang akan
diteliti
Sistem bekerja dengan mengambil foto
attendee dan membandingkannya dengan foto pada
database, serta melakukan analisis pada emosi yang
terlukis pada ekspresi wajahnya dalam foto. Sistem
melakukan proses verifikasi wajah dan analisis emosi
menggunakan pre-trained model deep learning
dengan arsitektur convolutional neural network
bernama DeepFace. Library tersebut dapat diunduh
dan dipelajari dokumentasinya pada website pypi [5].
Sistem menggunakan dua methods dari
library DeepFace, yaitu DeepFace.verify dan
DeepFace.analyze. DeepFace.verify digunakan
untuk melakukan verifikasi wajah dengan
membandingkan foto hasil capture dan foto pada
database. Methods DeepFace.verify menggunakan
model yang bernama VGG Face. Model ini
merupakan turunan dari framework LeNet dan
AlexNet, model VGG Face menggunakan 19 layer
kedalaman network. Model ini merepresentasikan
gambar wajah pada 2622 vektor dimensi[6][7].
Gambar Arsitektur VGG-16 [7]
 Selanjutnya sistem melakukan perhitungan
distance matrix menggunakan euclidean distance.
Pengukuran euclidean distance merupakan
perhitungan yang sederhana dan efisien untuk
menghitung kesamaan pada wajah. Pada sistem
rekognisi wajah, semakin kecil nilai euclidean
distance-nya maka menandakan wajah semakin mirip
[8]. Apabila proses verifikasi berhasil, maka sistem
akan mengeluarkan nilai True.
𝑛
2
𝑑(𝑝, 𝑞) = ∑ (𝑞𝑖 − 𝑝𝑖)
𝑖=1
rumus euclidean distance [8]

Sementara untuk proses analisis emosi, sistem

menggunakan methods DeepFace.analyze yang akan
mengeluarkan nilai probabilitas emosi berupa angry,
disgust, fear, happy, sad, surprise, dan neutral.
Kemudian dari hasilnya akan diambil nilai
“dominant_emotion”, apabila “dominant_emotion”
adalah “happy” maka sistem akan mengeluarkan nilai
True. Pada proses akhir, sistem akan melakukan
verifikasi kesamaan wajah dan nilai emosi dominan,
apabila verifikasi wajah bernilai True dan emosi
dominan adalah happy maka attendee akan dihitung
telah melakukan absen.
C. Uji dan Evaluasi Sistem
Pada tahapan ini dilakukan pengujian
terhadap sistem berbasis deep learning yang telah
dirancang. Pengujian dan evaluasi sistem dilakukan
untuk mengetahui bahwa sistem yang telah dibuat
berjalan dengan baik dan benar. Pengujian ini diuji
cobakan pada mahasiswa Teknik Robotika dan
Kecerdasan Buatan. Hal ini perlu dilakukan agar
mengetahui bahwa program yang dijalankan dapat
bekerja sesuai dengan fungsinya.
D. Penarikan Kesimpulan
Pada tahap ini dilakukan penarikan
kesimpulan dari penelitian yang telah dilaksanakan
dan ditulis dalam bentuk laporan yang merupakan
akhir dari tahap penelitian. Penulisan laporan
meliputi penjelasan hasil penelitian yang telah
dilaksanakan dan proses yang dilakukan selama
E. Activity Diagram
Diagram Alur kerja program absensi
Diagram tersebut merupakan diagram
aktivitas proses kerja yang dikerjakan oleh sistem
computer vision untuk mendeteksi wajah gestur
tersenyum. Diagram menunjukan bahwa setelah foto
diambil, kemudian citra tersebut akan di verifikasi
dengan membandingkan citra dengan database yang
ada lalu kemudian dapat diketahui ketika emosinya
dominan happy maka kehadirannya akan terdata oleh
sistem.
III. HASIL DAN PEMBAHASAN
A. Pengumpulan Citra
Pada tahap pertama yaitu mengumpulkan data citra.
Data citra wajah diambil dari data mahasiswa Teknik
Robotika dan Kecerdasan buatan menggunakan
kamera laptop. Pengambilan citra dilakukan dengan
menggunakan library ‘open CV’ dan algoritma haar
cascade classifier sehingga menghasilkan data citra
untuk database dan data test.
B. Pengujian Program
Pada pengujian program yang dilakukan dengan
mengambil sampel dari mahasiswa teknik robotika
dan kecerdasan buatan. Sistem pengambilan tersebut
dilakukan dua kali, tahap pertama adalah mengambil
data gambar untuk database dan tahap kedua yaitu
dengan mengambil data gambar untuk hasil. Berikut
adalah hasil uji coba program :
No Database Test Hasil

3
 menunjukan bahwa pengaruh intensitas cahaya dan
2
spesifikasi kamera pada tahap pengambilan gambar
merupakan hal yang harus diperhatikan karena dapat
merubah hasil output yang diinginkan.
IV. KESIMPULAN
3
Program yang peneliti rancang
menggunakan pre-trained model deep learning
dengan arsitektur convolutional neural network dan
bantuan training dari klasifikasi haarcascade.
4 Program tersebut berhasil berfungsi sebagai absensi
untuk meningkatkan hormon endorfin dengan
mendeteksi ‘attendee’ secara real-time dengan gestur
senyum, hal tersebut disimpulkan dari emosi yang
terdeteksi dimana ketika emosi terdeteksi happy maka
5 absensi akan bernilai ‘true’ begitu sebaliknya.
DAFTAR REFERENSI

[1] Department of Economic and Social Affairs

6 of United Nation, “THE 17 GOALS | Sustainable
Development,” Sustainable Development. 2022,
[Online]. Available: https://sdgs.un.org/goals.
7 [2] J. Sumanta, M. F. Indah, and Z. Hadi,
“Analisis Stress Kerja Pada Karyawan Ditinjau Dari
Beban Kerja, Masa Kerja Dan Peran Organisasi Di Pt.
X Kab. Tapin Kalimantan Selatan,” An-Nadaa J.
8
Kesehat. Masy., vol. 9, no. 1, p. 102, 2022, doi:
10.31602/ann.v9i1.7375.
[3] S. H. Pahira and R. Rinaldy, “Pentingnya
9
Manajemen Sumber Daya Manusia (MSDM) Dalam
Meningkatkan Kinerja Organisasi,” COMSERVA J.
Penelit. dan Pengabdi. Masy., vol. 3, no. 03, pp.
10 810–817, 2023, doi: 10.59141/comserva.v3i03.882.
[4] A. Frijanto, “Direktorat Jenderal Pelayanan
Kesehatan,” Kementerian Kesehatan RI. 2022,
[Online]. Available:
Program yang di uji berhasil memverifikasi
wajah sesuai dengan database yang diambil namun https://yankes.kemkes.go.id/view_artikel/1222/gula-si
masih terdapat beberapa error seperti gambar yang di -manis-yang-menyebabkan-ketergantungan.
uji menunjukan hasil ‘sad’ padahal gambar yang
diambil attendee sedang tersenyum. Hal tersebut [5] S. I. Serengil and A. Ozpinar,
perlu dilakukan pengujian database yang lebih “HyperExtended LightFace: A Facial Attribute
banyak agar hasil akurasi yang 80% dapat meningkat.
Pada program ini kami menggunakan pre-trained Analysis Framework,” 7th Int. Conf. Eng. Emerg.
model deep learning dengan arsitektur convolutional Technol. ICEET 2021, 2021, doi:
neural network dan bantuan training dari klasifikasi
haarcascade. Pengujian dilakukan oleh peneliti 10.1109/ICEET53442.2021.9659697.
menggunakan beberapa kamera laptop untuk menguji
kesiapan dari kode yang kami buat. Hasil

4
 [6] “GitHub - serengil/deepface: A Lightweight
Face Recognition and Facial Attribute Analysis (Age,
Gender, Emotion and Race) Library for Python.”
https://github.com/serengil/deepface (accessed Dec.
25, 2023).
[7] Y. Zhiqi, “Face recognition based on
improved VGGNET convolutional neural network,”
IAEAC 2021 - IEEE 5th Adv. Inf. Technol. Electron.
Autom. Control Conf., pp. 2530–2533, Mar. 2021, doi:
10.1109/IAEAC50856.2021.9390856.
[8] H. Wu, Y. Cao, H. Wei, and Z. Tian, “Face
Recognition Based on Haar like and Euclidean
Distance,” J. Phys. Conf. Ser., vol. 1813, no. 1, 2021,
doi: 10.1088/1742-6596/1813/1/012036.