PENGENALAN GESTUR GERAKAN JARI UNTUK MENGONTROL VOLUME DI KOMPUTER MENGGUNAKAN LIBRARY OPENCV DAN MEDIAPIPE

Gesture recognition merupakan salah satu bagian yang ada dalam kecerdasan buatan dibidang computer vision. Dengan gesture recognition tersebut komputer mampu memahami gerakan yang tertangkap pada kamera/webcam. Manfaat dari gesture recognition ini banyak sekali, salah satunya yang sedang peneliti lakukan mengenai handtracking gesture
recognition jari tangan kanan manusia untuk mengantur kontrol volume pada komputer atau laptop. Berdasarkan latar belakang tersebut, penelitian ini dimaksudkan untuk menerapkan machine learning yang dikembangkan dari library OpenCV dan MediaPipe untuk melakukan proses pelatihan dan testing gesture jari tangan sebagai isyarat untuk mengontrol salah satu fungsi yang ada di Windows, salah satunya adalah mengontrol volume. Proses ini menggunakan Library OpenCV dan MediaPipe karena mampu melakukan multiprocessing dengan data yang real-time, sehingga proses identifikasi gesture lebih cepat dan akurat. Ketika kamera/webcam menangkap frame pergerakan gesture jari tangan kanan manusia, maka dilakukan proses augmentasi dan pemberian landmark keypoint localization dari setiap ruas jari. Pada penelitian ini, jari yang dikenali hanya landmark ujung jempol dan landmark ujung jari telunjuk. Machine learning akan melakukan perhitungan dari jarak ujung jempol dengan ujung telunjukn yang mana digunakan untuk menentukan perubahan besaran volume suara. Dari hasil pengujian sebanyak sembilan kali uji coba dengan pose-pose jari berbeda diperoleh 88,89%. Satu dari hasil pengujian tidak berhasil membaca gesture gerakan jari, dikarenakan posisi landmark ujung jari telunjuk yang tertutup dengan jari lainnya.