| dc.description.abstract | Perkembangan media sosial, khususnya TikTok, menjadikan kolom komentar
sebagai sumber opini publik yang kaya dan beragam. Banyaknya data komentar
mendorong pemanfaatan kecerdasan buatan generatif untuk melakukan pelabelan
sentimen secara otomatis. Namun, perbedaan kemampuan antar model dalam
memahami bahasa informal berbahasa Indonesia perlu dievaluasi secara sistematis.
Penelitian ini bertujuan mengevaluasi kinerja tiga model AI generatif, yaitu
ChatGPT (GPT-5.2), Gemini 1.5 Flash, dan DeepSeek, dalam pelabelan sentimen
komentar TikTok bertema olahraga lari dengan menggunakan label manual sebagai
ground truth. Evaluasi dilakukan menggunakan confusion matrix, Macro-Average
(macro-precision, macro-recall, dan macro-F1 score), serta Cohen’s Kappa. Hasil
menunjukkan adanya ketidakseimbangan kelas data dengan dominasi kelas netral.
DeepSeek memperoleh performa terbaik dengan macro-F1 sebesar 0.7924 dan
Cohen’s Kappa sebesar 0.6786 (kategori kuat), diikuti Gemini (macro-F1 0.7572;
Kappa 0.6219), dan ChatGPT (macro-F1 0.5329; Kappa 0.3179). Analisis
menunjukkan bahwa ChatGPT cenderung bias terhadap kelas netral, Gemini
cenderung mengklasifikasikan teks ambigu sebagai positif, sedangkan DeepSeek
memiliki performa paling konsisten dan seimbang. Penelitian ini menyimpulkan
bahwa DeepSeek dan Gemini layak digunakan sebagai asisten pelabelan semi-
otomatis. | en_US |
