Implementasi Retrieval-Augmented Generation pada Chatbot Layanan Informasi Dinas Cipta Karya, Tata Ruang, dan Pertanahan Provinsi DKI Jakarta

Abstract

Perkembangan teknologi kecerdasan buatan mendorong transformasi digital pada layanan publik, termasuk dalam penyediaan layanan informasi yang cepat dan mudah diakses. Dinas Cipta Karya, Tata Ruang, dan Pertanahan Provinsi DKI Jakarta memiliki berbagai dokumen regulasi dan informasi layanan yang kompleks sehingga masyarakat mengalami kesulitan dalam memperoleh informasi secara cepat dan akurat. Penelitian ini bertujuan untuk mengimplementasikan metode Retrieval-Augmented Generation pada chatbot layanan informasi Dinas Cipta Karya, Tata Ruang, dan Pertanahan Provinsi DKI Jakarta serta mengevaluasi kemampuan sistem dalam menghasilkan jawaban yang relevan dan mudah digunakan. Sistem menggunakan model Bahasalab/Bahasa-4b-chat-v2 sebagai Large Language Model dan model all-MiniLM-L6-v2 untuk proses embedding. Pengembangan sistem dilakukan menggunakan bahasa pemrograman Python pada platform Google Colab dengan antarmuka berbasis Gradio. Evaluasi sistem dilakukan menggunakan metode BERTScore dan System Usability Scale. Hasil evaluasi menunjukkan nilai BERTScore F1 sebesar 0,8916 yang menunjukkan bahwa chatbot mampu menghasilkan jawaban yang relevan. Hasil pengujian usability menunjukkan rata-rata skor sebesar 74,38 pada kelompok mahasiswa dan 86,63 pada kelompok pegawai kantor yang termasuk dalam kategori baik dan sangat baik serta predikat acceptable. Berdasarkan hasil penelitian, chatbot berbasis Retrieval-Augmented Generation ini memperoleh respon positif dari pengguna terkait kemudahan penggunaan sistem.