EVALUASI KINERJA BM25 DAN FAISS DALAM SISTEM RETRIEVAL AUGMENTED GENERATION (RAG) BERBASIS LANGCHAIN

• ADITYA CANDRA GUMILANG
• 2025

---

Dalam era digital yang ditandai dengan pertumbuhan informasi yang cepat, kebutuhan akan sistem pencarian informasi yang akurat dan efisien menjadi sangat penting. Retrieval-Augmented Generation (RAG) hadir sebagai solusi dinamis yang menggabungkan proses pencarian (retrieval) dan generasi jawaban oleh Large Language Model (LLM). Penelitian ini bertujuan untuk mengevaluasi pengaruh dua metode retrieval BM25 (berbasis keyword) dan FAISS (berbasis semantic embedding) dalam sistem RAG berbasis LangChain untuk menjawab pertanyaan dari dokumen surat edaran kampus. Sistem dibangun menggunakan LLaMA 3 melalui platform Ollama, dengan dataset berupa delapan dokumen resmi akademik. Evaluasi dilakukan dengan tiga metrik utama, yaitu F1-score, ROUGE-L, dan Semantic Similarity, serta uji statistik paired t-test untuk mengukur signifikansi perbedaan performa. Hasil menunjukkan bahwa FAISS secara konsisten unggul dalam semua metrik dengan nilai F1 rata-rata 0.550, ROUGE-L 0.604, dan semantic similarity 0.87, dibandingkan BM25 yang masing-masing mencatat 0.442, 0.500, dan 0.76. Namun, perbedaan tersebut belum signifikan secara statistik (p > 0.05), kecuali semantic similarity yang mendekati signifikansi (p = 0.0756). Kesimpulannya, FAISS lebih efektif secara
praktis dalam menangkap konteks semantik, meskipun dibutuhkan eksperimen lanjutan untuk memperkuat signifikansi statistiknya.

• Retrieval-Augmented Generation
• Question Answering System
• FAISS
• BM25
• Large Language Model

https://repository.bsi.ac.id/repo/74042/EVALUASI-KINERJA-BM25-DAN-FAISS-DALAM-SISTEM-RETRIEVAL-AUGMENTED-GENERATION-(RAG)-BERBASIS-LANGCHAIN
Anda dapat membaca file tugas akhir ini di repository.