Tantangan apa yang muncul saat menerapkan chatbot AI internal di berbagai departemen organisasi yang kompleks dan terspesialisasi?

Host: Selamat datang di A.I.S. Insights — powered by Living Knowledge. Saya Anna Ivy Summers, dan dalam episode kali ini kita akan membahas sebuah studi berjudul "Heterogenitas Ground Truth: Mengeksplorasi Pengembangan dan Penggunaan Non-Klinis Chatbot Retrieval-Augmented Generation dalam Layanan Kesehatan". Studi ini dilakukan oleh Parisima Alaie, Erik Johannes Vallgren, dan Johan Sandberg, yang dipublikasikan di European Conference on Information Systems 2026. Bersama saya telah hadir analis kita, Alex Ian Sutherland. Alex, selamat datang.
Expert: Terima kasih, Anna. Senang bisa hadir dan membagikan temuan dari studi ini.
Host: Di dunia korporat saat ini, banyak organisasi menghubungkan model bahasa besar ke dokumen internal mereka menggunakan Retrieval-Augmented Generation, atau RAG, dengan harapan dapat menghilangkan kesalahan atau respons yang tidak akurat. Namun, studi ini mengangkat masalah mendasar di balik asumsi tersebut. Bisakah Anda jelaskan masalah apa yang sebenarnya dihadapi organisasi?
Expert: Tentu, Anna. Asumsi umum menyatakan bahwa data internal organisasi adalah sumber kebenaran tunggal yang harmonis. Kenyataannya, organisasi terspesialisasi memiliki praktik kerja yang beragam, terlokalisasi, dan sering kali saling bertentangan antar unit kerja. Ketika chatbot berbasis RAG diterapkan untuk membantu staf menavigasi sistem rekam medis elektronik baru, tim manajemen kesulitan menetapkan ground truth terpadu yang bisa akurat di seluruh sistem sekaligus tetap relevan untuk kebutuhan lokal setiap unit.
Host: Jadi ada benturan antara standarisasi terpusat dan kebutuhan operasional lokal. Bagaimana para peneliti menyelidiki fenomena ini?
Expert: Pendekatan yang digunakan adalah studi kasus kualitatif pada penyedia layanan kesehatan regional di Swedia. Data dikumpulkan dari 15 wawancara semi-terstruktur dengan tim pengembang dan pengguna akhir, 93 respons survei, dokumentasi internal, serta 37.706 log interaksi sistem nyata saat chatbot tersebut digunakan.
Host: Dari kumpulan data tersebut, apa saja temuan utama yang terungkap dalam studi ini?
Expert: Ada beberapa hasil penting. Pertama, arsitektur RAG tidak serta-merta menghilangkan halusinasi. Arsitektur ini justru mengalihkan beban tantangan dari pelatihan model ke proses kurasi dan rekonsiliasi data organisasi yang berjalan terus-menerus. Kedua, ketika pengembang mencoba menghapus rutinitas tingkat unit yang bertentangan demi mengurangi kesalahan faktual, nilai guna chatbot justru menurun di mata staf garda depan karena mereka kehilangan panduan spesifik yang mereka butuhkan.
Host: Jadi respons yang seragam justru dirasa kurang membantu bagi staf di lapangan?
Expert: Tepat sekali. Studi ini menemukan perbedaan persepsi yang jelas berdasarkan peran. Manajer melaporkan tingkat kepuasan tinggi karena chatbot menegakkan kebijakan pusat secara seragam, sementara klinisi garda depan menganggap jawaban umum tersebut tidak memadai untuk alur kerja harian mereka. Selain itu, ada temuan teknis yang signifikan: kesenjangan dalam literasi digital karyawan berkontribusi pada 18,7% kueri yang gagal menghasilkan jawaban sama sekali, yang menunjukkan bahwa perumusan instruksi atau prompting masih menjadi kendala praktis yang nyata.
Host: Angka 18,7% itu cukup substansial. Sekarang, mari kita bahas mengapa temuan ini sangat penting bagi para praktisi bisnis dan teknologi. Apa langkah konkret yang bisa diambil organisasi dari wawasan ini?
Expert: Pelajaran bisnis terbesarnya adalah bahwa pemeliharaan basis pengetahuan internal harus diperlakukan sebagai proses sosioteknis berkelanjutan, bukan sekadar instalasi perangkat lunak satu kali. Para pemimpin bisnis perlu menyadari bahwa mengandalkan RAG menuntut tata kelola aktif dari pakar domain di setiap departemen secara terus-menerus untuk mendamaikan aturan lokal dengan kebijakan pusat. Selain itu, investasi pada pelatihan literasi digital dan keterampilan prompting bagi staf operasional sama krusialnya dengan investasi pada infrastruktur kecerdasan buatan itu sendiri.
Host: Sebuah perspektif praktis yang sangat berharga. Memahami bahwa ground truth bersifat heterogen membantu organisasi merancang ekspektasi dan tata kelola implementasi kecerdasan buatan dengan lebih terukur. Terima kasih banyak atas penjelasan dan analisisnya, Alex.
Expert: Sama-sama, Anna.
Host: Terima kasih telah mendengarkan A.I.S. Insights — powered by Living Knowledge. Sampai jumpa di episode berikutnya.