Keterangan Gambar Otomatis Berbahasa Indonesia Menggunakan Cnn Dan Lstm Dengan Attention Halaman Judul
Abstract
Image captioning adalah proses untuk menghasilkan satu kalimat atau lebih untuk
menjelaskan konten visual dari suatu gambar. Image Captioning bermanfaat untuk membantu
kegiatan manusia memahami konten visual seperti keterangan pada citra medis, interaksi
manusia dengan robot dan membantu mendeskripsikan gambar kepada tunanetra. Untuk
menghasilkan deskripsi dari suatu gambar, diperlukan gabungan dua bidang ilmu, yaitu
computer vision dan natural language processing. Tujuan dari penelitian ini adalah untuk
menghasilkan deskripsi gambar (caption) berbahasa Indonesia. Untuk mencapai tujuan
penelitian, peneliti menggunakan lima metodologi dalam penelitian yaitu pengumpulan data,
preprocessing, pembuatan model, evaluasi, dan eksperimen. Penelitian dilakukan dengan
menggunakan dataset gambar dari MS COCO. Metode yang digunakan dalam penelitian
adalah CNN dan LSTM dengan attention untuk membangun model. Dalam penelitian ini,
didapatkan dua model dengan ekstraksi fitur yang berbeda, yaitu Model 1 dengan ekstraksi
fitur InceptionV3 dan Model 2 dengan ekstraksi fitur VGG16. Caption yang dihasilkan
dievaluasi dengan skor BLEU dan pada Model 1 mampu memperoleh skor BLEU {1, 2, 3, 4}
sebesar {34.93, 22.55, 14.75, 10.15} sedangkan untuk Model 2 memiliki skor {22.02, 14.29,
9.41, 6.28}. Model yang dibangun dengan LSTM cenderung lebih baik daripada model yang
dibangun dengan GRU.
Collections
- Informatics Engineering [2148]