Implementasi LLM Pada Chatbot PMB Universitas Muhammadiyah Sorong Menggunakan Metode RAG Berbasis Website
DOI:
https://doi.org/10.33506/framework.v3i02.4790Kata Kunci:
Chatbot, , Large Language Model, Retrieval-Augmented Generation, Penerimaan Mahasiswa BaruAbstrak
Dalam beberapa tahun terakhir, pemanfaatan kecerdasan buatan (AI) dalam sektor pendidikan mengalami pertumbuhan yang pesat. Salah satu teknologi AI yang mulai banyak diterapkan adalah chatbot berbasis Large Language Model (LLM), yang dirancang untuk menyajikan informasi secara interaktif dan responsif. Dalam konteks Penerimaan Mahasiswa Baru (PMB), Universitas Muhammadiyah Sorong masih menghadapi tantangan dalam menyediakan layanan informasi yang cepat dan akurat, karena sistem yang digunakan masih berbasis manual melalui media sosial. Hal ini menyebabkan proses tanya jawab menjadi lambat dan kurang efisien, terutama pada saat puncak pendaftaran. Penelitian ini bertujuan untuk mengimplementasikan chatbot berbasis LLM dengan metode Retrieval-Augmented Generation (RAG) untuk mendukung layanan PMB di Universitas Muhammadiyah Sorong. Metode RAG memungkinkan chatbot untuk memahami bahasa alami dan mengakses informasi eksternal secara real-time. Hasil penelitian menunjukkan bahwa chatbot dapat merespons pertanyaan calon mahasiswa dengan akurat dan memperoleh skor usability testing 88,5%, yang menandakan sistem ini mudah digunakan dan bermanfaat. Selain itu, hasil pengujian menggunakan BERTScore menunjukkan bahwa chatbot yang dikembangkan memiliki performa yang tinggi dengan tingkat akurasi sebesar 93%, dengan rata-rata precision 90%, recall 95%, dan f1-score 92%. Hasil ini menunjukkan bahwa chatbot mampu memberikan jawaban dengan tingkat keakuratan yang tinggi, sehingga dapat meningkatkan efisiensi dan kualitas layanan PMB di Universitas Muhammadiyah Sorong.
Referensi
[1] H. Khandakar, S. A. Fazal, K. F. Afnan, and K. K. Hasan, “Implications of artificial intelligence chatbot models in higher education,” IAES Int. J. Artif. Intell., vol. 13, no. 4, pp. 3808–3813, 2024, doi: 10.11591/ijai.v13.i4.pp3808-3813.
[2] F. Y. Fiddin, A. Komarudin, and M. Melina, “Chatbot Informasi Penerimaan Mahasiswa Baru Menggunakan Metode FastText dan LSTM,” J. Appl. Comput. Sci. Technol., vol. 5, no. 1, pp. 33–39, 2024, doi: 10.52158/jacost.v5i1.648.
[3] S. Rifky, “Dampak Penggunaan Artificial Intelligence Bagi Pendidikan Tinggi,” Indones. J. Multidiscip. Soc. Technol., vol. 2, no. 1, pp. 37–42, 2024, doi: 10.31004/ijmst.v2i1.287.
[4] J. Chen, H. Lin, X. Han, and L. Sun, “Benchmarking Large Language Models in Retrieval-Augmented Generation,” Proc. AAAI Conf. Artif. Intell., vol. 38, no. 16, pp. 17754–17762, 2024, doi: 10.1609/aaai.v38i16.29728.
[5] M. A. K. Raiaan et al., “A Review on Large Language Models: Architectures, Applications, Taxonomies, Open Issues and Challenges,” IEEE Access, vol. 12, no. January, pp. 26839–26874, 2024, doi: 10.1109/ACCESS.2024.3365742.
[6] I. Ichsanudin, R. Pratama, and B. Sisephaputra, “Pengembangan Sistem Helpdesk Menggunakan Chatbot Dengan Metode Retrieval-Augmented Generation ( RAG ),” JINACS (Journal Informatics Comput. Sci., vol. 06, no. 2, pp. 696–710, 2024.
[7] M. Gupta, C. Akiri, K. Aryal, E. Parker, and L. Praharaj, “From ChatGPT to ThreatGPT: Impact of Generative AI in Cybersecurity and Privacy,” IEEE Access, vol. 11, no. August, pp. 80218–80245, 2023, doi: 10.1109/ACCESS.2023.3300381.
[8] A. P. Mulia, P. R. Piri, and C. Tho, “Usability Analysis of Text Generation by ChatGPT OpenAI Using System Usability Scale Method,” Procedia Comput. Sci., vol. 227, pp. 381–388, 2023, doi: 10.1016/j.procs.2023.10.537.
[9] D. A. Lantana, S. Ningsih, T. Waluyo, and Winarsih, “Rancang Bangun Chatbot Berbasis Rule-Based Sebagai Pusat Informasi Calon Mahasiswa Baru Di Universitas Nasional Penulis 1),” JUNSIBI (Jurnal Sist. Inf. Bisnis), vol. 4, no. 1, pp. 34–42, 2023, doi: 10.55122/junsibi.v4i1.695.
[10] K. Srivastava and N. Shekokar, “Design of machine learning and rule based access control system with respect to adaptability and genuineness of the requester,” EAI Endorsed Trans. Pervasive Heal. Technol., vol. 6, no. 24, pp. 1–12, 2020, doi: 10.4108/eai.24-9-2020.166359.
[11] F. Ishlakhuddin, A. Basir, and N. Nurlaela, “Rancang Bangun Sistem Tanya-jawab Berbasis Aturan STMIK Muhammadiyah Paguyangan Brebes dengan Menggunakan Telegram Chatbot,” J. Inform. J. Pengemb. IT, vol. 5, no. 3, pp. 100–105, 2020, doi: 10.30591/jpit.v5i3.2900.
[12] S. K. Freire, C. Wang, and E. Niforatos, “Conversational Assistants in Knowledge-Intensive Contexts: An Evaluation of LLM- versus Intent-based Systems,” vol. 1, no. 1, pp. 1–10, 2024, [Online]. Available: http://arxiv.org/abs/2402.04955
[13] Y. Gao et al., “Retrieval-Augmented Generation for Large Language Models: A Survey,” pp. 1–21, 2023, [Online]. Available: http://arxiv.org/abs/2312.10997
[14] C. Binardo, “Pengembangan Sistem Pendaftaran Kejuaraan Karate Berbasis Web dengan Pendekatan Extreme Programing,” J. Inform. Dan Rekayasa Perangkat Lunak, vol. 2, no. 2, pp. 276–284, 2021, doi: 10.33365/jatika.v2i2.932.
[15] T. Zhang, V. Kishore, F. Wu, K. Q. Weinberger, and Y. Artzi, “Bertscore: Evaluating Text Generation With Bert,” 8th Int. Conf. Learn. Represent. ICLR 2020, pp. 1–43, 2020.
Unduhan
Diterbitkan
Cara Mengutip
Terbitan
Bagian
Lisensi
Hak Cipta (c) 2025 Syamsudin Aliphadji Talaohu, Rendra Soekarta, Muhammad Surahmanto
Artikel ini berlisensiCreative Commons Attribution-ShareAlike 4.0 International License.
