Evaluasi Respons dan Akurasi Model AI Terhadap Pertanyaan Python Dasar: ChatGPT, Gemini, Copilot, Meta AI, dan Sonar

• KAUTSAR RAMADHAN
• 2025

---

Perkembangan pesat model bahasa besar (Large Language Models/LLMs) telah mengubah cara pencarian informasi, termasuk dalam domain pemrograman. Namun, variasi performa antar-platform AI menimbulkan kebutuhan akan evaluasi yang objektif dan kuantitatif. Penelitian ini bertujuan untuk membandingkan secara empiris responsivitas dan akurasi lima model AI populer ChatGPT, Gemini, Copilot, Meta AI, dan Perplexity dalam menjawab pertanyaan seputar konsep dasar bahasa pemrograman Python. Metode penelitian melibatkan pengujian 100 pertanyaan yang dirancang berdasarkan referensi buku-buku utama Python. Akurasi jawaban dievaluasi menggunakan metrik Natural Language Processing (NLP), yaitu BLEUScore dan BERTScore, sementara responsivitas diukur melalui waktu respons. Untuk menguji signifikansi statistik, digunakan uji non-parametrik Permutation Test (uji omnibus dan pasca-hoc) dan Paired Bootstrap Resampling guna membangun interval kepercayaan. Hasil penelitian menyajikan perbandingan komprehensif yang tidak hanya menentukan model dengan performa keseluruhan terbaik, tetapi juga memetakan kekuatan dan kelemahan spesifik tiap model berdasarkan kategori pertanyaan. Dengan demikian, penelitian ini menghasilkan sebuah tolok ukur (benchmark) yang dapat menjadi panduan bagi pembelajar maupun pengajar dalam memilih platform AI yang paling efektif untuk mendukung pembelajaran pemrograman Python.

• Model AI

https://repository.bsi.ac.id/repo/71213/Evaluasi-Respons-dan-Akurasi-Model-AI-Terhadap-Pertanyaan-Python-Dasar:-ChatGPT,-Gemini,-Copilot,-Meta-AI,-dan-Sonar
Anda dapat membaca file tugas akhir ini di repository.