Klasifikasi Pengenalan Huruf Sistem Isyarat Bahasa Indonesia (SIBI) Menggunakan Algoritma Attention dan VGG-16

Abstract

Diversitas gaya komunikasi non-verbal bagi penyandang disabilitas di Indonesia mendesak solusi teknologi yang mendukung fasilitas kebutuhan disabilitas dalam lingkungan kerja dan aspek sosial. Penelitian bertujuan menawarkan pendekatan baru dalam meningkatkan kinerja jaringan saraf menggunakan arsitektur sederhana untuk pengenalan huruf SIBI (M dan N) melalui metode keypoint detection, dengan memperhatikan variasi ukuran tangan (17–22 cm). Empat model dievaluasi: YOLOv5 berbasis image detection, serta VGG-16, Attention, dan Multi-Layer Perceptron (MLP) yang dikembangkan menggunakan keypoint detection. Evaluasi dilakukan secara real-time dengan mempertimbangkan aksesori seperti cincin, jam tangan, dan sarung tangan, serta variasi intensitas pencahayaan untuk mensimulasikan kondisi nyata di lingkungan pengguna. Kebaruan terletak pada integrasi keypoint detection ke dalam arsitektur sederhana, yang terbukti meningkatkan akurasi dan ketahanan terhadap gangguan visual (noise). Model MLP menunjukkan performa terbaik dengan akurasi 94% (M) dan 93% (N), mengungguli pendekatan kompleks seperti YOLOv5 yang turun drastis dalam kondisi terganggu. Integrasi VGG-16 dengan Attention justru menghasilkan underfitting, menegaskan bahwa kompleksitas tidak selalu berkorelasi dengan efektivitas. Temuan ini menyoroti potensi model ringan untuk digunakan memperluas aksesibilitas teknologi bagi komunitas disabilitas di berbagai konteks sosial dan profesional.