Persepsi Relevansi Pada Pencarian Semantik E- Commerce: Analisis Perbandingan Kualitatif Model Embedding Openai dan Voyageai Melalui Blind A/B Testing

Abstract

Penelitian ini bertujuan untuk mengevaluasi secara kualitatif efektivitas dua model embedding, yaitu OpenAI text-embedding-3-large dan VoyageAI voyage-3-large, dalam konteks pencarian semantik pada platform e-commerce. Latar belakang penelitian ini adalah adanya keterbatasan sistem pencarian berbasis kata kunci yang seringkali gagal memahami intensi pengguna, sehingga menghasilkan pencarian yang tidak relevan. Meskipun pencarian semantik menawarkan solusi, pemahaman mendalam mengenai persepsi pengguna terhadap hasil dari model yang berbeda masih menjadi area yang perlu dieksplorasi untuk meningkatkan pengalaman belanja online. Untuk menunjang penelitian ini, dikembangkan sebuah aplikasi e-commerce berbasis website. Aplikasi ini memiliki fitur pencarian semantik yang terintegrasi dengan API dari OpenAI dan VoyageAI, serta didukung oleh Pinecone sebagai vector database untuk menyimpan dan mencari representasi vektor produk. Sistem ini dibangun menggunakan kerangka kerja pengembangan Next.js untuk antarmuka pengguna dan Supabase sebagai basis data relasional, yang memungkinkan dilakukannya perbandingan langsung antara kedua model embedding dalam lingkungan yang terkontrol. Metodologi penelitian yang digunakan adalah pendekatan kualitatif dengan desain eksperimen blind A/B testing. Partisipan dengan pengetahuan domain produk yang relevan diminta untuk melakukan serangkaian tugas pencarian menggunakan kedua model yang dilabeli secara netral ('Model A' dan 'Model B'). Data kualitatif dikumpulkan melalui wawancara mendalam untuk menggali persepsi pengguna mengenai relevansi, akurasi, dan kepuasan terhadap hasil pencarian dari masing-masing model. Temuan utama dari penelitian ini menunjukkan adanya ketidakselarasan antara metrik teknis dan persepsi pengguna. Meskipun model VoyageAI seringkali menghasilkan skor kemiripan (similarity score) yang lebih tinggi, mayoritas partisipan lebih menyukai hasil dari model OpenAI karena dinilai lebih unggul dalam memahami konteks dan menangani kueri yang ambigu. Hasil ini menyimpulkan bahwa preferensi pengguna tidak semata-mata ditentukan oleh akurasi literal, melainkan oleh kemampuan model dalam mendukung penemuan produk secara intuitif, yang menyoroti adanya trade-off strategis dalam pemilihan model embedding.