Pengenalan Ekspresi Wajah dengan LBP dan Multi-Level CNN

Muhammad Bagas Septyono; Fetty Tri Anggraeny; Retno Mumpuni

doi:10.33795/jip.v11i4.7351

Authors

Muhammad Bagas Septyono Universitas Pembangunan Nasional "Veteran" Jawa Timur
Fetty Tri Anggraeny Program Studi Informatika, Fakultas Ilmu Komputer, Universitas Pembangunan Nasional "Veteran" Jawa Timur, Indonesia
Retno Mumpuni Program Studi Informatika, Fakultas Ilmu Komputer, Universitas Pembangunan Nasional "Veteran" Jawa Timur, Indonesia

DOI:

https://doi.org/10.33795/jip.v11i4.7351

Keywords:

pengenalan wajah, LBP, CNN, multi-level CNN, FER2013

Abstract

Pengenalan ekspresi wajah menjadi salah satu komponen penting dalam sistem interaksi manusia-komputer, khususnya untuk memahami emosi pengguna. Tantangan utama dalam pengenalan ekspresi wajah meliputi variasi pencahayaan, pose wajah, oklusi, dan kemiripan antar ekspresi. Penelitian ini mengusulkan metode klasifikasi ekspresi wajah berbasis kombinasi antara ekstraksi fitur tekstur dari Local Binary Pattern (LBP) dan representasi spasial dari arsitektur Multi-Level Convolutional Neural Network (MLCNN). Dataset yang digunakan adalah FER2013 yang terdiri dari 35.887 gambar grayscale berukuran 48×48 piksel dan terbagi dalam tujuh kategori ekspresi dasar. Tahapan penelitian mencakup prapemrosesan data (deteksi wajah, augmentasi, dan normalisasi), ekstraksi fitur melalui LBP dan MLCNN, serta penggabungan fitur (feature fusion) sebelum klasifikasi. Tiga jenis koneksi fitur diuji dalam MLCNN, yaitu dari lapisan max pooling, lapisan konvolusi tengah, dan lapisan konvolusi terakhir sebelum pooling. Model dilatih menggunakan optimizer Adam, early stopping, dan penyesuaian learning rate otomatis (ReduceLROnPlateau). Hasil eksperimen menunjukkan bahwa kombinasi LBP dan MLCNN dengan koneksi tipe 1 memberikan hasil terbaik dengan akurasi pengujian sebesar 69,17%. Pendekatan ini menunjukkan peningkatan akurasi dan kestabilan terutama dalam mengenali ekspresi seperti happy dan angry. Penelitian ini menunjukkan bahwa integrasi fitur tekstur dan spasial dari berbagai level abstraksi dapat meningkatkan performa sistem pengenalan ekspresi wajah dalam kondisi dunia nyata.

Downloads

Download data is not yet available.

References

Amynarto, N., Sari, Y. A., & Wihandika, R. C. (2018). Pengenalan emosi berdasarkan ekpresi mikro menggunakan metode local binary pattern. Jurnal Pengembangan Teknologi Informasi Dan Ilmu Komputer, 2(10), 3230–3238. httpsj-ptiik.ub.ac.idindex.phpj-ptiikarticleview2594

Azmi, K., Defit, S., & Sumijan, S. (2023). Implementasi Convolutional Neural Network (CNN) Untuk Klasifikasi Batik Tanah Liat Sumatera Barat. Jurnal Unitek, 16(1), 28–40. https://doi.org/10.52072/unitek.v16i1.504

Bahmanabady, E., Imani, M., & Ghassemian, H. (2023). Fusion of Multi-Level CNN With LBP Features For Facial Emotion Recognition. 2023 31st International Conference on Electrical Engineering, ICEE 2023, 463–467. https://doi.org/10.1109/ICEE59167.2023.10334654

Ekman, P. (1971). Consants Across Cultures In the Face and Emotion. Journal Ol Personality and Social Psychology, 17(2), 124–129. http://psycnet.apa.org/record/1971-07999-001

Intyanto, G. W. (2021). Klasifikasi Citra Bunga dengan Menggunakan Deep Learning: CNN (Convolution Neural Network). Jurnal Arus Elektro Indonesia, 7(3), 80. https://doi.org/10.19184/jaei.v7i3.28141

Kusumanto, R., & Tompunu, A. N. (2011). PENGOLAHAN CITRA DIGITAL UNTUK MENDETEKSI OBYEK MENGGUNAKAN PENGOLAHAN WARNA MODEL NORMALISASI. Seminar Nasional Teknologi Informasi & Komunikasi Terapan 2011 (Semantik 2011). https://doi.org/10.1016/S0166-1116(08)71924-1

Li, J., Jin, K., Zhou, D., Kubota, N., & Ju, Z. (2020). Attention mechanism-based CNN for facial expression recognition. Neurocomputing, 411, 340–350. https://doi.org/10.1016/j.neucom.2020.06.014

Lina, Q. (2019). Apa itu Convolutional Neural Network? Medium. https://medium.com/@16611110/apa-itu-convolutional-neural-network-836f70b193a4

Marpaung, F., Aulia, F., & Nabila, R. C. (2022). Computer Vision Dan Pengolahan Citra Digital. www.pustakaaksara.co.id

Nguyen, H. D., Kim, S. H., Lee, G. S., Yang, H. J., Na, I. S., & Kim, S. H. (2022). Facial Expression Recognition Using a Temporal Ensemble of Multi-Level Convolutional Neural Networks. IEEE Transactions on Affective Computing, 13(1), 226–237. https://doi.org/10.1109/TAFFC.2019.2946540

Nugroho, P. A., Fenriana, I., & Arijanto, R. (2020). Implementasi Deep Learning Menggunakan Convolutional Neural Network (CNN) Pada Ekspresi Manusia. Algor, 2(1), 12–21.

Ojala, T., Pietikäinen, M., & Harwood, D. (1996). A comparative study of texture measures with classification based on feature distributions. Pattern Recognition, 29(1), 51–59. https://doi.org/10.1016/0031-3203(95)00067-4

Shao, J., & Qian, Y. (2019). Three convolutional neural network models for facial expression recognition in the wild. Neurocomputing, 355, 82–92. https://doi.org/10.1016/j.neucom.2019.05.005

Sitompul, P., Okprana, H., Prasetio, A., & Artikel, G. (2022). Identifikasi Penyakit Tanaman Padi Melalui Citra Daun Menggunakan DenseNet 201. JOMLAI: Journal of Machine Learning and Artificial Intelligence, 1(2), 143–150. https://doi.org/10.55123/jomlai.v1i2.889

Zhai, H., Zhao, J., & Zhang, H. (2022). Double Attention Based Multilevel One-Dimensional Convolution Neural Network for Hyperspectral Image Classification. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 15(Dl), 3771–3787. https://doi.org/10.1109/JSTARS.2022.3162423