ALIM (Asisten Literasi Islam): Penerapan Large Language Models dengan Pendekatan Retrieval- Augmented Generation untuk Memudahkan Akses Pengetahuan Islam

Abstract

Pesatnya perkembangan Artificial Intelligence (AI) telah mendorong munculnya chatbot AI dengan kemampuan memberikan tanggapan yang logis dan terperinci. Namun, tanggapan yang dihasilkan terkadang berisi informasi yang keliru (hallucination) terkhusus dalam konteks keislaman. Penelitian ini bertujuan untuk mengembangkan chatbot berbasis Retrieval-Augmented Generation (RAG) yang mampu memberikan jawaban yang relevan dan akurat berdasarkan dokumen literatur Islam yang terpercaya. Sistem dirancang dengan mengintegrasikan model

bahasa-4b-chat-v2 sebagai Large Language Model (LLM) dan paraphrase- multilingual-MiniLM sebagai model embedding. Antar muka pengguna dibangun

menggunakan Pustaka Gradio dan dihosting melalui Hugging Face. Hasil pengujian menunjukkan bahwa sistem menghasilkan skor BERTScore F1 sebesar 0.691 yang mengindikasikan kesesuaian semantik yang cukup antara jawaban sistem dan jawaban referensi. Sementara itu, hasil uji usability menunjukkan skor rata-rata System Usability Scale (SUS) untuk mahasiswa FIAI dan non FIAI masing-masing sebesar 86 dan 91 yang berada dalam kategori excellent. Temuan ini menunjukkan bahwa sistem cukup akurat secara semantik dan diterima dengan baik oleh pengguna dari segi kemudahan penggunaan.