Pengembangan Chatbot Interaktif Berbasis Ollama dengan Agen Kustom (Studi Kasus : Bidang Statistika)

Abstract

Perkembangan Artificial Intelligence (AI) telah membawa kemajuan signifikan dalam pengembangan chatbot berbasis Large Language Model (LLM). Penelitian ini bertujuan untuk mengembangkan chatbot berbasis AI yang membantu pengguna menyelesaikan masalah statistik. Chatbot dibangun menggunakan model LLaMA 3.1 yang diintegrasikan dengan framework Ollama dan didukung dua agen kustom, yaitu Statistics Professor dan Reviewer, yang masing-masing bertugas menyusun dan memverifikasi jawaban. Pengembangan dilakukan melalui tahapan analisis kebutuhan, perancangan sistem, implementasi, dan pengujian. Evaluasi sistem dilakukan dengan dua pendekatan, yaitu alpha testing menggunakan metode black box dan beta testing melalui kuesioner System Usability Scale (SUS). Hasil pengujian menunjukkan tingkat akurasi sistem mencapai 80% dan 70% berdasarkan jenis pertanyaan dan skor SUS sebesar 84,5, yang masuk dalam kategori Excellent dan tingkat penerimaan Acceptable. Untuk mendalami perbedaan pengalaman pengguna dari dua kelompok responden (mahasiswa baru dan mahasiswa akhir), dilakukan uji statistik nonparametrik Mann-Whitney terhadap dua aspek SUS, yaitu Usability dan Learnability. Hasilnya menunjukkan bahwa terdapat perbedaan signifikan pada aspek Learnability namun tidak pada Usability. Hal ini menunjukkan bahwa chatbot yang dikembangkan tidak hanya layak digunakan, tetapi juga responsif terhadap perbedaan karakteristik pengguna, serta berpotensi menjadi media bantu belajar statistika yang efektif dan efisien.