Bagaimana organisasi dapat menentukan apakah simulasi diskusi media sosial secara realistis meniru percakapan manusia?

Examining Naturalness of Synthetic Conversations: A Framework and Evaluation

Alvin Shrestha, Prakash Sukhwal, Atreyi Kankanhalli · International Conference on Information Systems (ICIS) · 2026

Memuat pemutar Spotify; Spotify dapat memasang cookie. Perangkat ini mengingat pilihan Anda.

Temuan utama

Penyesuaian (fine-tuning) model bahasa pada diskusi spesifik platform secara substansial meningkatkan kealamian percakapan dalam keragaman leksikal, alur dialog, dan keselarasan semantik dibandingkan model dasar.
Peningkatan kinerja dari penyesuaian tergeneralisasi secara efektif ke topik terpisah yang tidak ada dalam dataset pelatihan.
Penilaian persepsi manusia menunjukkan bahwa utas sintetis hasil penyesuaian dinilai sama alaminya dengan diskusi manusia autentik, tanpa perbedaan signifikan secara statistik pada penilaian kealamian leksikal, semantik, atau keseluruhan.
Metrik koherensi dialog menunjukkan model sintetis mencetak skor lebih tinggi daripada batas dasar manusia, membuktikan bahwa kealamian percakapan autentik memerlukan pencocokan distribusi perilaku manusia alih-alih sekadar memaksimalkan skor metrik.

Maknanya bagi Anda

CIO / Eksekutif TI

Allocate compute budget to pilot fine-tuning open-weight language models on domain-specific conversational datasets rather than relying on out-of-the-box baseline models for synthetic data generation.

Manajer TI

Task the machine learning engineering team with curating platform-specific training corpora and setting up a pipeline to fine-tune open-weight models for upcoming simulation projects.

Ahli Strategi Bisnis

Design market research and social dynamics simulation workflows that leverage fine-tuned synthetic conversational threads, knowing the models generalize effectively to held-out topics.

Peneliti

Incorporate multi-level evaluation frameworks—spanning lexical, dialog, and semantic dimensions—alongside human perceptual validation to assess synthetic conversation naturalness rather than relying solely on automated metrics.

Pembuat Kebijakan

Establish governance guidelines requiring transparency and clear labeling for synthetic social media data, acknowledging that fine-tuned AI models generate discussions indistinguishable from human behavior.

Ringkasan

Penelitian ini mengembangkan kerangka kerja evaluasi multitaraf untuk menilai kealamian percakapan media sosial sintetis pada dimensi leksikal, dialog, dan semantik. Para penulis membuat utas diskusi bergaya Reddit dalam tiga topik menggunakan model bahasa berbobot terbuka versi dasar dan yang telah disesuaikan (fine-tuned). Mereka kemudian membandingkan keluaran metrik otomatis dengan percakapan referensi manusia serta memvalidasinya melalui studi evaluasi manusia.

Masalah

Simulasi diskusi daring memungkinkan organisasi mempelajari dinamika sosial seperti polarisasi dan misinformasi tanpa risiko platform langsung, tetapi interaksi simulasi sering kali gagal mencerminkan perilaku manusia autentik. Metrik percakapan yang ada saat ini sebagian besar berfokus pada ujaran tunggal atau korpus agregat, menyisakan kesenjangan dalam mengevaluasi pertukaran media sosial berbasis utas multibabak dalam skala besar.

Transkrip

Host: Halo dan selamat datang di A.I.S. Insights — powered by Living Knowledge. Saya Anna Ivy Summers. Hari ini kita membahas sebuah studi berjudul "Memeriksa Kealamian Percakapan Sintetis: Sebuah Kerangka Kerja dan Evaluasi" yang ditulis oleh Alvin Shrestha, Prakash Sukhwal, dan Atreyi Kankanhalli, serta dipresentasikan pada International Conference on Information Systems tahun 2026. Studi ini berfokus pada pengembangan kerangka kerja evaluasi multitaraf untuk menilai kealamian percakapan media sosial sintetis pada dimensi leksikal, dialog, dan semantik. Bersama saya ada analis kita, Alex Ian Sutherland. Selamat datang, Alex.
Expert: Terima kasih, Anna. Senang bisa bergabung untuk membahas studi ini.
Host: Alex, mari kita mulai dari persoalan dasarnya. Mengapa simulasi percakapan media sosial menjadi kebutuhan penting bagi organisasi, dan kendala apa yang dihadapi saat ini?
Expert: Simulasi diskusi daring memungkinkan organisasi mempelajari dinamika sosial, seperti polarisasi opini atau penyebaran misinformasi, tanpa harus menghadapi risiko langsung di platform publik. Namun, teks percakapan yang dihasilkan model sering kali belum mencerminkan pola interaksi manusia yang autentik. Selain itu, sebagian besar metrik evaluasi yang tersedia selama ini hanya mengukur tingkat kalimat tunggal atau kumpulan data secara agregat. Akibatnya, ada kesenjangan metodologis dalam mengevaluasi percakapan berbasis utas multibabak berskala besar.
Host: Pendekatan apa yang dirancang dalam studi ini untuk mengatasi kesenjangan tersebut?
Expert: Para peneliti merancang kerangka evaluasi terstruktur dalam tiga tingkatan: leksikal, dialog, dan semantik. Mereka membuat utas diskusi bergaya Reddit pada tiga topik berbeda dengan memanfaatkan model bahasa berbobot terbuka. Mereka membandingkan dua kondisi model, yaitu model dasar dan model yang telah melalui proses penyesuaian atau fine-tuning menggunakan data spesifik platform. Hasil metrik otomatis kemudian dibandingkan dengan data referensi percakapan manusia, dan divalidasi lebih lanjut melalui studi evaluasi persepsi manusia.
Host: Mari kita cermati temuan dari evaluasi tersebut. Apa hasil utama yang diperoleh?
Expert: Ada beberapa hasil terukur. Pertama, penyesuaian model pada data percakapan spesifik platform menghasilkan peningkatan pada keragaman leksikal, dinamika alur dialog, dan keselarasan semantik jika dibandingkan dengan model dasar. Kedua, peningkatan kinerja tersebut dapat digeneralisasi secara konsisten ke topik baru yang tidak terdapat dalam data pelatihan.
Host: Bagaimana dengan hasil perbandingan antara model sintetis dan percakapan manusia autentik?
Expert: Hasil penilaian persepsi manusia menunjukkan bahwa utas dari model hasil penyesuaian dinilai sama alaminya dengan percakapan manusia nyata. Tidak ditemukan perbedaan signifikan secara statistik pada penilaian kealamian leksikal, semantik, maupun penilaian kealamian secara keseluruhan. Temuan lainnya berkaitan dengan metrik koherensi dialog, di mana model sintetis justru memperoleh skor lebih tinggi dibandingkan batas dasar manusia. Hal ini mengindikasikan bahwa percakapan manusia yang autentik tidak selalu berada pada skor metrik maksimal, melainkan mengikuti distribusi perilaku percakapan tertentu.
Host: Dari perspektif bisnis dan industri, bagaimana praktisi dapat menerapkan pengetahuan ini?
Expert: Pengetahuan ini relevan bagi tim riset pasar, komunikasi korporat, dan pengembang teknologi. Organisasi dapat memanfaatkan kerangka ini untuk menyimulasikan skenario krisis reputasi, menguji penerimaan pesan publik, atau melatih sistem moderasi konten secara aman dan terkendali. Pelajaran praktis yang penting adalah saat mengoptimalkan model percakapan, tujuannya bukan sekadar memaksimalkan skor metrik otomatis, melainkan menyelaraskan keluaran model agar sesuai dengan rentang distribusi interaksi manusia yang nyata.
Host: Kerangka kerja ini memberikan acuan operasional yang jelas bagi pengujian sistem berbasis dialog. Terima kasih banyak atas penjelasannya, Alex.
Expert: Sama-sama, Anna.
Host: Dan terima kasih kepada para pendengar yang telah menyimak episode A.I.S. Insights — powered by Living Knowledge kali ini. Sampai jumpa di episode berikutnya.

Artificial Intelligence & Automation Information Systems & Management Human-Computer Interaction Data Analytics & Big Data Digital Transformation & Strategy Cybersecurity & Privacy Cloud & Infrastructure E-Commerce & Digital Platforms Operations & Supply Chain Sustainability & Green IS

Baca makalah di AIS eLibrary

Social media, LLM-based simulation, Synthetic data, Synthetic conversation evaluation, Conversation naturalness, Social simulations