ANALISIS SENTIMEN AI SOFTWARE ENGINEER “DEVIN” PADA KOMENTAR YOUTUBE MENGGUNAKAN METODE SUPPORT VECTOR MACHINE

• JOSE ENRICO MARKUS NAPITUPULU
• 2024

---

Dalam era transformasi digital saat ini, teknologi kecerdasan buatan telah menjadi pendorong utama inovasi di berbagai sektor. Salah satu terobosan terbaru dalam bidang ini adalah Devin AI, seorang AI Software Engineer yang dikembangkan oleh Cognition Labs pada Maret 2024. Devin AI kemudian ramai disorot publik publik terkhusus di Youtube, komentar publik terhadap Devin AI juga memenuhi kolom komentar. Penelitian ini mencoba menganalisis opini yang ada pada komentar Youtube tersebut kedalam sentimen positif dan negatif. Klasifikasi diimplementasikan menggunakan Google Collab dengan bahasa pemograman Python dengan pemodelan algoritma Support Vector Machine. Pada penelitian digunakan 80% untuk data training dan 20% data test. Proses utama dalam analisis sentimen ini adalah labelling, text preprocessing, pembobotan Term Frequency Inverse Document Frequency (TF-IDF), menguji data menggunakan k-fold cross validation dan mengevalusi dengan confusion matrix. Berdasarkan hasil evaluasi model SVM dapat disimpulkan bahwa model ini menunjukkan performa yang baik dalam mengklasifikasikan sentimen dengan akurasi mencapai 83%, model ini berhasil mengklasifikasikan data dengan tingkat ketepatan yang tinggi. Berdasarkan data untuk kelas sentimen negatif, model mencapai precision sebesar 84%, recall sebesar 91%, dan f1-score sebesar 0.88% dari 234 sampel. Sementara itu, untuk kelas sentimen positif, model memiliki precision sebesar 80%, recall sebesar 66%, dan f1-score sebesar 72% dari 120 sampel. Setelah itu evaluasi Cross Validation melibatkan total 1.767 sampel uji, di mana terdapat 457 true positives, 1008 true negatives, 91 false positives, dan 211 false negatives dengan tingkat akurasi 83%. Berdasarkan pembahasan, dan pengujian yang telah dilakukan, dapat diambil kesimpulan bahwa sentimen analisis mayoritas adalah negatif.

• Devin AI
• Klasifikasi
• Support Vector Machine
• Analisis Sentimen
• TF-IDF
• Youtube
• K-Fold Cross Vali

https://repository.bsi.ac.id/repo/49879/ANALISIS-SENTIMEN-AI-SOFTWARE-ENGINEER-“DEVIN”-PADA-KOMENTAR-YOUTUBE-MENGGUNAKAN-METODE-SUPPORT-VECTOR-MACHINE
File full-text dikunci.