RANCANG BANGUN SISTEM VIRTUAL MOUSE UNTUK PENYANDANG DISABILITAS MENGGUNAKAN METODE RESNET-50 DAN DLIB

Abstract

Teknologi telah menjadi bagian dari kehidupan manusia sehari - hari, dan salah satu teknologi tersebut adalah komputer. Sayangnya pengaksesan komputer menjadi hal yang menyusahkan bagi penyandang disabilitas bagian atas, karena mereka kesulitan dalam menggunakan tangannya. Untuk membantu para penyandang disabilitas, alternatif mouse telah dibuat oleh perusahaan – perusahaan. Beberapa alternatif membutuhkan alat tambahan seperti kamera pelacakan mata dengan harga yang cukup mahal, dan ada juga virtual mouse yang menggunakan kepala untuk mengontrol pergerakan kursor. Sayangnya, virtual mouse tersebut sulit untuk digunakan pada penyandang disabilitas yang tidak memiliki kontrol pada bagian kepala. Karena itu, sistem virtual mouse yang menggunakan pelacakan pupil dengan kamera web akan berguna bagi para penyandang disabilitas. Model untuk pelacakan pupil dibuat dengan metode ResNet-50 yang diikuti fully connected layer dan menggunakan perhitungan titik pandang untuk menerjemahkan koordinat pupil menjadi koordinat kursor. Dlib juga digunakan untuk deteksi kedipan mata dalam mengakses tindakan mouse. Model pelacakan pupil pada penelitian ini mendapatkan loss sebesar 0.842 yang tergolong cukup besar dan mempengaruhi keakuratan pergerakan kursor. Pengujian pergerakan kursor mendapatkan keakuratan sebesar 66%. Sedangkan deteksi kedipan mata menggunakan dlib dapat berjalan dengan baik dan pengaksesan tindakan pada mouse mendapatkan tingkat keberhasilan sebesar 100%