संगठन कैसे तय कर सकते हैं कि क्या सिम्युलेटेड सोशल मीडिया बातचीत इंसानी संवाद का यथार्थवादी अनुकरण करती है?

Examining Naturalness of Synthetic Conversations: A Framework and Evaluation

Alvin Shrestha, Prakash Sukhwal, Atreyi Kankanhalli · International Conference on Information Systems (ICIS) · 2026

Spotify का प्लेयर लोड करता है; Spotify कुकीज़ सेट कर सकता है। यह डिवाइस आपकी पसंद याद रखता है।

मुख्य निष्कर्ष

प्लेटफ़ॉर्म-विशिष्ट चर्चाओं पर एक भाषा मॉडल को फाइन-ट्यून करने से बेसलाइन मॉडल की तुलना में शाब्दिक विविधता, संवाद प्रवाह और अर्थ संबंधी तालमेल में बातचीत की स्वाभाविकता में काफी सुधार हुआ।
फाइन-ट्यूनिंग से मिलने वाले प्रदर्शन लाभ प्रभावी रूप से एक ऐसे नए विषय पर भी सटीक साबित हुए जो फाइन-ट्यूनिंग प्रशिक्षण डेटासेट में मौजूद नहीं था।
मानवीय धारणा रेटिंग से पता चला कि फाइन-ट्यून किए गए कृत्रिम संवाद थ्रेड्स को वास्तविक मानवीय चर्चाओं के समान ही स्वाभाविक माना गया, जिसमें शाब्दिक, अर्थ संबंधी या समग्र स्वाभाविकता रेटिंग में कोई सांख्यिकीय रूप से महत्वपूर्ण अंतर नहीं था।
संवाद सुसंगतता मेट्रिक्स ने दिखाया कि कृत्रिम मॉडलों ने मानव बेसलाइन की तुलना में अधिक अंक प्राप्त किए, जिससे स्पष्ट होता है कि प्रामाणिक संवादात्मक स्वाभाविकता के लिए केवल मीट्रिक अंकों को अधिकतम करने के बजाय मानवीय व्यवहारिक वितरण से मेल खाना आवश्यक है।

आपके लिए इसका क्या अर्थ है

CIO / आईटी एक्ज़ीक्यूटिव

Allocate compute budget to pilot fine-tuning open-weight language models on domain-specific conversational datasets rather than relying on out-of-the-box baseline models for synthetic data generation.

आईटी प्रबंधक

Task the machine learning engineering team with curating platform-specific training corpora and setting up a pipeline to fine-tune open-weight models for upcoming simulation projects.

बिज़नेस रणनीतिकार

Design market research and social dynamics simulation workflows that leverage fine-tuned synthetic conversational threads, knowing the models generalize effectively to held-out topics.

शोधकर्ता

Incorporate multi-level evaluation frameworks—spanning lexical, dialog, and semantic dimensions—alongside human perceptual validation to assess synthetic conversation naturalness rather than relying solely on automated metrics.

नीति निर्माता

Establish governance guidelines requiring transparency and clear labeling for synthetic social media data, acknowledging that fine-tuned AI models generate discussions indistinguishable from human behavior.

सारांश

यह अध्ययन शाब्दिक, संवादात्मक और अर्थ संबंधी आयामों में कृत्रिम सोशल मीडिया संवाद की स्वाभाविकता का आकलन करने के लिए एक बहु-स्तरीय मूल्यांकन ढांचा विकसित करता है। शोधकर्ताओं ने एक बेसलाइन और एक फाइन-ट्यून किए गए ओपन-वेट भाषा मॉडल का उपयोग करके तीन विषयों पर रेडिट-शैली के चर्चा सूत्र उत्पन्न किए। इसके बाद उन्होंने स्वचालित मीट्रिक परिणामों की तुलना संदर्भ मानव चर्चाओं से की और एक मानव मूल्यांकन अध्ययन के साथ उन्हें सत्यापित किया।

समस्या

ऑनलाइन चर्चाओं का अनुकरण संगठनों को लाइव प्लेटफ़ॉर्म के जोखिमों के बिना ध्रुवीकरण और गलत सूचना जैसी सामाजिक गतिशीलता का अध्ययन करने की अनुमति देता है, लेकिन कृत्रिम रूप से तैयार की गई बातचीत अक्सर वास्तविक मानवीय व्यवहार को दर्शाने में विफल रहती है। मौजूदा संवाद मेट्रिक्स मुख्य रूप से एकल कथनों या समग्र संग्रहों पर केंद्रित हैं, जिससे बड़े पैमाने पर बहु-चरणीय, थ्रेड-आधारित सोशल मीडिया संवादों का मूल्यांकन करने में कमी रह जाती है।

ट्रांसक्रिप्ट

Host: A.I.S. Insights — powered by Living Knowledge में आप सभी का स्वागत है। मैं हूँ आपकी होस्ट, Anna Ivy Summers। आज हम एक महत्वपूर्ण अध्ययन पर चर्चा कर रहे हैं, जिसका शीर्षक है "कृत्रिम बातचीत की स्वाभाविकता का परीक्षण: एक रूपरेखा और मूल्यांकन"। यह अध्ययन Alvin Shrestha, Prakash Sukhwal और Atreyi Kankanhalli द्वारा संचालित किया गया है और इसे International Conference on Information Systems 2026 में प्रस्तुत किया गया है। यह अध्ययन शाब्दिक, संवादात्मक और अर्थ संबंधी स्तरों पर कृत्रिम सोशल मीडिया संवाद की स्वाभाविकता को मापने के लिए एक बहु-स्तरीय ढांचा प्रस्तुत करता है। इस विषय की विस्तृत समीक्षा के लिए हमारे साथ मौजूद हैं विश्लेषक Alex Ian Sutherland। स्वागत है Alex।

Expert: धन्यवाद Anna। इस अध्ययन के निष्कर्षों पर चर्चा करना व्यावहारिक दृष्टि से उपयोगी रहेगा।

Host: Alex, आइए मूल समस्या से शुरुआत करते हैं। संगठन सोशल मीडिया चर्चाओं का अनुकरण क्यों करना चाहते हैं, और वर्तमान में इस कार्य में क्या व्यावहारिक बाधाएँ आ रही हैं?

Expert: Anna, ऑनलाइन माध्यमों पर ध्रुवीकरण, गलत सूचना या ब्रांड संकट जैसी सामाजिक गतियों का अध्ययन करने के लिए लाइव प्लेटफ़ॉर्म पर प्रयोग करना जोखिम भरा हो सकता है। इसलिए शोधकर्ता और संगठन सिमुलेशन का उपयोग करते हैं। समस्या यह है कि कृत्रिम रूप से तैयार की गई बातचीत अक्सर वास्तविक मानवीय व्यवहार से मेल नहीं खाती। इसके अतिरिक्त, संवाद का मूल्यांकन करने वाले मौजूदा स्वचालित उपकरण मुख्य रूप से एकल बयानों पर केंद्रित रहे हैं, जिससे सोशल मीडिया के जटिल और बहु-चरणीय थ्रेड्स का सटीक विश्लेषण नहीं हो पाता।

Host: इस अध्ययन में शोधकर्ताओं ने इस मूल्यांकन अंतर को पाटने के लिए क्या दृष्टिकोण अपनाया?

Expert: शोधकर्ताओं ने तीन आयामों पर आधारित एक मूल्यांकन ढांचा तैयार किया: शाब्दिक विविधता, संवादात्मक प्रवाह और अर्थ संबंधी तालमेल। उन्होंने एक बेसलाइन मॉडल और एक डोमेन-विशिष्ट रूप से फाइन-ट्यून किए गए ओपन-वेट भाषा मॉडल का उपयोग करके तीन अलग-अलग विषयों पर रेडिट-शैली के संवाद थ्रेड्स उत्पन्न किए। इसके बाद उन्होंने स्वचालित मीट्रिक्स की तुलना वास्तविक मानव चर्चाओं से की और 104 मानव मूल्यांकनकर्ताओं के माध्यम से इन परिणामों का सत्यापन किया।

Host: इस अध्ययन के मुख्य परिणाम क्या रहे? क्या फाइन-ट्यूनिंग से बातचीत की गुणवत्ता में अपेक्षित बदलाव आया?

Expert: परिणामों से पता चला कि प्लेटफ़ॉर्म-विशिष्ट डेटा पर फाइन-ट्यूनिंग करने से शाब्दिक विविधता, संवाद प्रवाह और अर्थ संबंधी सुसंगतता में सुधार हुआ। दूसरा महत्वपूर्ण परिणाम यह रहा कि यह सुधार उस नए विषय पर भी प्रभावी पाया गया जो फाइन-ट्यूनिंग डेटासेट में शामिल नहीं था। तीसरा, मानव मूल्यांकन में प्रतिभागियों ने फाइन-ट्यून किए गए संवादों को वास्तविक मानव चर्चाओं के समान ही स्वाभाविक दर्जा दिया, और दोनों के बीच कोई सांख्यिकीय रूप से महत्वपूर्ण अंतर नहीं देखा गया।

Host: क्या मॉडलों का व्यवहार सभी पैमानों पर इंसानों जैसा ही पाया गया?

Expert: नहीं, और यह इस अध्ययन का एक बहुत ही उल्लेखनीय बिंदु है। संवाद सुसंगतता के मामले में कृत्रिम मॉडलों ने मानव बेसलाइन से अधिक अंक प्राप्त किए। मानव बातचीत में स्वाभाविक रूप से कुछ विचलन या विषय से भटकाव होता है। इससे यह स्पष्ट होता है कि कृत्रिम संवाद की प्रामाणिक स्वाभाविकता हासिल करने के लिए केवल मीट्रिक अंकों को अधिकतम करना पर्याप्त नहीं है, बल्कि मानव व्यवहार के वास्तविक वितरण से मेल खाना आवश्यक है।

Host: व्यावसायिक पेशेवरों और संगठनों के लिए इन निष्कर्षों का क्या व्यावहारिक महत्व है?

Expert: इसके स्पष्ट व्यावसायिक अनुप्रयोग हैं। पहला, कंपनियाँ अपने ब्रांड या उत्पादों से जुड़े संभावित संकटों और उपभोक्ता प्रतिक्रियाओं का सुरक्षित और यथार्थवादी सिमुलेशन कर सकती हैं। दूसरा, यह ढांचा संगठनों को अपने ग्राहक सेवा बॉट्स और संवादात्मक प्रणालियों का निष्पक्ष और बहु-स्तरीय परीक्षण करने की सुविधा देता है। तीसरा, यह दर्शाता है कि छोटे और ओपन-वेट मॉडल्स को लक्षित डेटा पर फाइन-ट्यून करके बड़े मॉडल्स के विकल्प के रूप में कुशलतापूर्वक तैनात किया जा सकता है।

Host: संक्षेप में, यह अध्ययन स्पष्ट करता है कि कृत्रिम संवाद को स्वाभाविक बनाने के लिए केवल उच्च स्कोर नहीं, बल्कि मानवीय बातचीत की वास्तविक विविधताओं को समझना आवश्यक है। Alex, इस विश्लेषणात्मक चर्चा के लिए बहुत-बहुत धन्यवाद।

Expert: धन्यवाद Anna।

Host: और हमारे सभी श्रोताओं को भी धन्यवाद। A.I.S. Insights — powered by Living Knowledge का यह अंक सुनने के लिए आभार। मिलते हैं अगले अंक में।

Artificial Intelligence & Automation Information Systems & Management Human-Computer Interaction Data Analytics & Big Data Digital Transformation & Strategy Cybersecurity & Privacy Cloud & Infrastructure E-Commerce & Digital Platforms Operations & Supply Chain Sustainability & Green IS

AIS eLibrary में शोध पत्र पढ़ें

Social media, LLM-based simulation, Synthetic data, Synthetic conversation evaluation, Conversation naturalness, Social simulations