RANCANG BANGUN SISTEM DETEKSI TINDAKAN PENGUTILAN PADA VIDEO CCTV MENGGUNAKAN RESNET50 DAN MULTILAYER BI-LSTM

Abstract

CCTV merupakan salah satu hal yang esensial dalam menjamin keamanan, salah satunya yaitu di pertokoan. Sayangnya, hampir semua sistem keamanan CCTV membutuhkan campur tangan manusia untuk mengawasi sepanjang waktu. Tidak dapat dipungkiri bahwa pengawas CCTV mungkin saja lengah ketika bertugas sehingga oknum yang tidak bertanggung jawab dapat dengan mudah melarikan diri. Pengutilan merupakan salah satu kasus yang kerap ditemui di pertokoan. Seringnya, pengutilan baru disadari setelah barang sudah hilang, kemudian dilakukan pengecekan melalui rekaman CCTV. Dapat diketahui bahwa kebutuhan akan suatu kecerdasan buatan yang memungkinkan pengawasan CCTV tanpa campur tangan manusia sangat dibutuhkan. Maka dari itu, dalam penelitian ini dibuat suatu sistem dengan kecerdasan buatan yang dapat mendeteksi adanya tindakan pengutilan dari video CCTV sehingga memudahkan pemantauan CCTV. Sistem yang dibuat berupa aplikasi desktop dengan fitur peringatan suara dan frame capture ketika suatu tindakan pengutilan terdeteksi. Pendekatan yang dilakukan adalah dengan menggunakan Residual Network 50 (ResNet50) dan Multilayer Bidirectional Long Short Term Memory (Bi-LSTM). Berdasarkan hasil training, model yang telah dibuat memiliki F1 – score sebesar 77% dan akurasi sebesar 84%. Sistem yang telah dibuat diuji coba dengan tiga skenario sudut pandang CCTV terhadap kondisi pengutilan dan normal, didapatkan F1 – score sebesar 60% dan akurasi sebesar 61%.