| dc.description.abstract | Penelitian ini bertujuan untuk mengembangkan chatbot berbasis Retrieval-
Augmented Generation (RAG) guna mengoptimalkan layanan informasi terpadu
pada website Program Studi Statistika Universitas Islam Indonesia (UII).
Permasalahan utama yang dihadapi adalah kesulitan pengguna dalam menemukan
informasi spesifik akibat penyebaran konten pada berbagai halaman website
sehingga diperlukan sistem yang mampu memberikan jawaban secara cepat, akurat,
dan kontekstual. Sumber data penelitian dibatasi pada informasi yang terdapat pada
halaman visi misi, tujuan, dan sejarah website Statistika UII. Metode yang
digunakan adalah pendekatan RAG yang menggabungkan proses retrieval dan
generation. Data dikumpulkan melalui scraping pada web Statistika UII
menggunakan Python kemudian diproses melalui tahapan indexing meliputi data
loading, chunking, embedding, dan penyimpanan pada vector database Pinecone.
Sistem dikembangkan menggunakan platform n8n dengan integrasi model Large
Language Model (LLM) Mistral Medium. Evaluasi dilakukan menggunakan
semantic similarity, metrics, persentase jawaban benar, uji McNemar, serta User
Acceptance Test (UAT) dengan metode System Usability Scale (SUS). Hasil
pengujian menunjukkan bahwa chatbot memiliki tingkat semantic similarity rata-
rata sebesar 0,95 yang menunjukkan kesamaan makna yang sangat tinggi antara
jawaban chatbot dan ground truth. Nilai F1-score sebesar 0,76 menunjukkan
performa yang baik dalam kesesuaian kata. Selain itu, chatbot berbasis RAG
memperoleh persentase jawaban benar sebesar 100%, sedangkan chatbot berbasis
LLM memperoleh 0%. Hasil uji McNemar menunjukkan nilai χ
2
hitung = 20 lebih
besar dari χ
2
tabel = 18.307 sehingga terdapat perbedaan yang signifikan antara
performa chatbot berbasis RAG dan LLM tanpa RAG. Hasil UAT juga
menunjukkan bahwa sistem berada pada kategori “Good” dan dapat diterima oleh
pengguna. | en_US |
