Evaluasi Konsistensi Sistem CV Analyzer Berbasis LLM Google Gemini Menggunakan Koefisien Variasi dan Intraclass Correlation Coefficient

Abstract

Persaingan kerja yang semakin ketat mendorong kebutuhan akan alat bantu yang mampu mengevaluasi Curriculum Vitae (CV) secara otomatis dan konsisten. Penelitian ini bertujuan merancang, mengembangkan, dan mengevaluasi konsistensi sistem CV Analyzer berbasis Large Language Model (LLM) Google Gemini 2.5 Flash menggunakan studi kasus di PT Solusi Data Industri. Sistem menganalisis isi CV hasil ekstraksi dokumen PDF berdasarkan lima aspek penilaian, yaitu experience, skills, education, certifications, dan soft skills. Evaluasi dilakukan melalui dua pendekatan, yaitu Koefisien Variasi (KV) untuk mengukur stabilitas keluaran sistem dari 20 kali pengujian pada input yang sama serta Intraclass Correlation Coefficient (ICC) model Two-Way Mixed Effects untuk mengukur kesesuaian penilaian antara sistem dan evaluator manusia. Hasil penelitian menunjukkan bahwa seluruh nilai KV berada di bawah 15%, yang menandakan keluaran sistem stabil meskipun LLM bersifat non-deterministic. Selain itu, diperoleh nilai ICC(A,1) sebesar 0,661, yang termasuk kategori moderate reliability, sehingga menunjukkan tingkat kesesuaian yang cukup baik antara sistem dan evaluator manusia. Hasil tersebut menunjukkan bahwa sistem CV Analyzer layak digunakan sebagai alat bantu pemberian umpan balik awal terhadap kualitas CV bagi pencari kerja.