HUMAN FACE RECOGNITION ON IMAGE VIDEO CONFERENCE APPLICATION USING SIAMESE NETWORK WITH SKIP CONNECTION SMALLER VGG MODEL

Abstract

Pencatatan kehadiran diperlukan untuk mengetahui kehadiran seseorang dalam sebuah rapat atau pertemuan. Rapat tersebut terkadang dilakukan secara online melalui aplikasi video Conference. Pencatatan kehadiran pada pertemuan online adalah menggunakan form online yang disebar melalui chat. Terdapat beberapa permasalahan seperti tertumpuknya chat dan jika peserta meeting telat masuk sehingga tidak dapat mengakses link form tersebut. Oleh sebab itu, pengenalan wajah dapat digunakan untuk melakukan pencatatan kehadiran menggunakan citra dari hasil tangkap layar sebagai pencatatan kehadiran dengan tujuan membantu mempermudah pencatatan kehadiran melalui aplikasi video conference menggunakan teknologi computer vision. Penelitian ini mengusulkan sebuah metode penggunaan siamese network dengan model skip connection Smaller VGG untuk meningkatkan pengenalan wajah manusia pada citra aplikasi video conference. Memiliki hasil akurasi validasi pada fase training sebesar 98%, precision sebesar 98%, dan recall sebesar 98%. Untuk fase similarity dimana model diterapkan pada Siamese network didapatkan akurasi sebesar 95%, precision 53%, dan recall sebesar 78%. Kemudian model tersebut diterapkan ke dalam sistem pipeline dengan model YOLO-face untuk mengklasifikasikan hasil deteksi wajah dari yolo dengan wajah yang ada pada di database sehingga model tidak perlu ditraining ulang jika terdapat wajah baru, hanya perlu menambahkan citra wajah pada database untuk dibandingkan dengan citra query.