Pengembangan Sistem OCR Berbasis CRAFT dan CRNN Untuk Pengenalan Teks Daftar Bahan Pada Label Makanan

Abstract

Daftar bahan pada label makanan kemasan umumnya masih tersedia sebagai teks cetak pada citra kemasan, sehingga belum langsung dapat digunakan sebagai data digital yang terstruktur. Proses ekstraksi teks pada label makanan memiliki tantangan karena ukuran huruf kecil, susunan teks padat, variasi font, kualitas citra yang tidak seragam, serta kemungkinan distorsi perspektif dan permukaan kemasan yang melengkung. Penelitian ini bertujuan merancang dan mengevaluasi sistem Optical Character Recognition (OCR) untuk mengekstraksi teks daftar bahan dari citra label makanan secara akurat menggunakan kombinasi deteksi teks dan pengenalan teks berbasis pembelajaran mendalam. Metode penelitian meliputi pengumpulan data, preprocessing, pembuatan sistem OCR, fine-tuning model pengenalan teks, evaluasi, simulasi eksternal, dan pembuatan antarmuka demonstrasi. Data utama menggunakan dataset Ingredients Image from Food Label sebanyak 182 citra yang diekstraksi menjadi 6812 sub-citra kata, kemudian dikurasi menjadi 6081 data valid. Data dibagi ke subset latih, validasi, dan uji dengan rasio 80:10:10, lalu dikonversi ke format Lightning Memory-Mapped Database (LMDB). Sistem OCR dibangun menggunakan Character Region Awareness for Text Detection (CRAFT) untuk deteksi teks dan

Convolutional Recurrent Neural Network (CRNN) berarsitektur TPS-ResNet-BiLSTM- Attention (TRBA) untuk pengenalan teks. Fine-tuning dilakukan pada model CRNN pra-latih

dengan membekukan modul TPS dan ResNet, sedangkan modul BiLSTM dan Attention tetap dilatih. Evaluasi dilakukan menggunakan Word Accuracy, Normalized Edit Distance (NED), Character Error Rate (CER), dan Word Error Rate (WER). Hasil penelitian menunjukkan bahwa fine-tuning meningkatkan performa model pada data uji. Model pra-latih menghasilkan Word Accuracy 90,381%, NED 0,946, CER 0,066, dan WER 0,096, sedangkan model hasil fine-tuning terbaik menghasilkan Word Accuracy 94,693%, NED 0,987, CER 0,015, dan WER 0,053. Perbandingan dengan Tesseract menunjukkan bahwa sistem CRAFT dan CRNN-TRBA lebih sesuai untuk data uji penelitian ini karena Tesseract memperoleh Word Accuracy 70,813%, NED 0,894, CER 0,089, dan WER 0,300. Pada simulasi lima citra label makanan eksternal, sistem menghasilkan Word Accuracy 92,248%, NED 0,988, CER 0,009, dan WER 0,078, sedangkan pada tiga citra label obat menghasilkan Word Accuracy 85,382%, NED 0,965, CER 0,034, dan WER 0,146. Dengan demikian, sistem OCR yang dikembangkan mampu menjadi fondasi digitalisasi teks daftar bahan pada label makanan, meskipun masih perlu peningkatan pada variasi data, pascaproses kesalahan karakter, pengujian eksternal yang lebih luas, dan penyempurnaan antarmuka pada penelitian berikutnya.