प्रमुख प्रश्न नया
AI द्वारा प्रसंस्कृत · लेखक द्वारा अनुमोदित
एआई सहायकों को उपयोगकर्ताओं के अपूर्ण संकेतों को सटीक डेटाबेस प्रश्नों में बदलने में कौन सा तरीका सबसे अधिक मदद करता है?
Spotify का प्लेयर लोड करता है; Spotify कुकीज़ सेट कर सकता है। यह डिवाइस आपकी पसंद याद रखता है।
मुख्य निष्कर्ष
- KG-आधारित मीडिएशन ने प्रिसिजन, रिकॉल और F1-स्कोर मेट्रिक्स में स्कीमा-आधारित मीडिएशन से सांख्यिकीय रूप से बेहतर प्रदर्शन किया।
- GPT-4.1 के लिए, KG-आधारित दृष्टिकोण ने 90.67% प्रिसिजन (स्कीमा-आधारित के लिए 69.05% की तुलना में) और 89.47% F1-स्कोर (स्कीमा-आधारित के लिए 71.02% की तुलना में) हासिल किया।
- क्लाउड सोनेट 4 के लिए, KG-आधारित दृष्टिकोण ने 87.23% प्रिसिजन (स्कीमा-आधारित के लिए 75.17% की तुलना में) और 90.29% F1-स्कोर (स्कीमा-आधारित के लिए 82.17% की तुलना में) हासिल किया, जबकि रिकॉल सांख्यिकीय रूप से तुलनीय रहा (93.52% बनाम 92.56%)।
- यह अध्ययन CFO इकाई के भीतर एक एकल-उद्यम सेटिंग पर ध्यान केंद्रित करने, 29 उपयोगकर्ताओं के 158 इंटरैक्शन के सीमित डेटासेट और लाइव फील्ड परिनियोजन के बजाय सिमुलेशन-आधारित मूल्यांकन पर निर्भरता द्वारा सीमित है।
आपके लिए इसका क्या अर्थ है
CIO / आईटी एक्ज़ीक्यूटिव
Issue a directive to transition the enterprise's LLM-based data assistant architecture away from simple schema-based semantic similarity matching and onto a Knowledge Graph-based mediation layer constructed from database schemas to capture the demonstrated 12% to 21% precision improvements.
आईटी प्रबंधक
Instruct your database and engineering teams to begin constructing a Knowledge Graph from your current database schemas to serve as a semantic mediation layer for your LLM assistant, replacing manual prompt engineering.
बिज़नेस रणनीतिकार
Launch a pilot program within the CFO business unit to deploy the Knowledge Graph-based data assistant, leveraging its verified ability to resolve incomplete, domain-specific prompts into accurate database queries for business users.
शोधकर्ता
Draft a research proposal to test the Knowledge Graph-based mediation layer in a live, real-world field deployment to gather empirical performance data beyond the current study's simulation of 158 interactions across 29 users.
नीति निर्माता
Draft an internal data governance policy requiring that all natural-language LLM interfaces querying corporate databases must use a schema-derived Knowledge Graph mediation layer to ensure structural query alignment and prevent inaccurate data retrieval.
सारांश
यह अध्ययन व्यावसायिक उपयोगकर्ताओं के अपूर्ण प्राकृतिक-भाषा प्रश्नों को स्वचालित रूप से हल करने के लिए एक सिमेंटिक मीडिएशन लेयर को डिज़ाइन और मूल्यांकन करता है। लेखक दो आर्किटेक्चरल वेरिएंट की तुलना करते हैं: सिमेंटिक समानता का उपयोग करने वाला स्कीमा-आधारित मीडिएशन और डेटाबेस स्कीमा से निर्मित नॉलेज ग्राफ (KG)-आधारित मीडिएशन। मूल्यांकन वास्तविक दुनिया के इंटरैक्शन लॉग का उपयोग करके एक सिमुलेशन के माध्यम से किया जाता है और मानव एनोटेटर्स और LLM-एज-ए-जज फ्रेमवर्क का उपयोग करके सत्यापित किया जाता है।
समस्या
व्यावसायिक उपयोगकर्ता अक्सर निष्पादन योग्य डेटाबेस निर्देशों के बजाय डोमेन-विशिष्ट शब्दावली वाले संक्षिप्त, अधूरे और संरचनात्मक रूप से त्रुटिपूर्ण प्रॉम्प्ट सबमिट करते हैं। स्टैंडअलोन बड़े भाषा मॉडल इन अपूर्ण इनपुट को अंतर्निहित डेटाबेस स्कीमा के साथ संरेखित करने में विफल रहते हैं, जिससे गलत प्रश्न और गलत डेटा पुनर्प्राप्ति होती है। मैनुअल प्रॉम्प्ट इंजीनियरिंग और फ्यू-शॉट उदाहरणों पर निर्भर पिछला कार्य अत्यधिक श्रम-साध्य है और प्रभावी रूप से स्केल करने में विफल रहता है।
ट्रांसक्रिप्ट
Expert: धन्यवाद अन्ना। आज का अध्ययन एंटरप्राइज AI के एक बेहद महत्वपूर्ण पहलू पर रोशनी डालता है—कि कैसे हम व्यावसायिक उपयोगकर्ताओं के अधूरे या अपूर्ण प्रॉम्प्ट्स को समझने के लिए बड़े भाषा मॉडलों यानी LLMs को अधिक सटीक बना सकते हैं।
Host: एलेक्स, आमतौर पर देखा गया है कि बिजनेस लीडर्स या टीम मेंबर्स जब किसी डेटाबेस या AI असिस्टेंट से सवाल पूछते हैं, तो वे सटीक तकनीकी निर्देशों की तरह नहीं होते। उनके प्रॉम्प्ट्स अक्सर छोटे, अधूरे और डोमेन-विशिष्ट शब्दावली से भरे होते हैं। यह कितनी बड़ी समस्या है?
Expert: बिल्कुल सही कहा अन्ना। व्यावसायिक उपयोगकर्ता अक्सर 'लास्ट क्वार्टर रेवेन्यू बाय रीजन' जैसे संक्षिप्त शब्दों का उपयोग करते हैं, बिना यह बताए कि किस डेटाबेस टेबल या कॉलम को देखना है। स्टैंडअलोन बड़े भाषा मॉडल इन अपूर्ण इनपुट को अंतर्निहित डेटाबेस स्कीमा के साथ संरेखित करने में विफल रहते हैं। इसके परिणामस्वरूप गलत प्रश्न बनते हैं और गलत डेटा पुनर्प्राप्ति होती है। पहले इसके लिए मैनुअल प्रॉम्प्ट इंजीनियरिंग या फ्यू-शॉट उदाहरणों का सहारा लिया जाता था, जो बहुत श्रम-साध्य है और प्रभावी रूप से स्केल नहीं हो पाता।
Host: तो इस अध्ययन में इस समस्या का क्या समाधान खोजा गया? शोधकर्ताओं का दृष्टिकोण क्या था?
Expert: इस अध्ययन में एक सिमेंटिक मीडिएशन लेयर का डिज़ाइन और मूल्यांकन किया गया। इसमें दो आर्किटेक्चरल वेरिएंट्स की तुलना की गई: पहला, स्कीमा-आधारित मीडिएशन, जो केवल सिमेंटिक समानता पर निर्भर करता है; और दूसरा, नॉलेज ग्राफ यानी KG-आधारित मीडिएशन, जो डेटाबेस स्कीमा से एक समृद्ध नॉलेज ग्राफ तैयार करता है। शोधकर्ताओं ने वास्तविक दुनिया के इंटरैक्शन लॉग्स का उपयोग करके एक सिमुलेशन चलाया और फिर मानव एनोटेटर्स और 'LLM-एज-ए-जज' फ्रेमवर्क का उपयोग करके परिणामों को सत्यापित किया।
Host: यह बहुत ही व्यवस्थित तरीका लगता है! तो इस सिमुलेशन के मुख्य परिणाम क्या रहे?
Expert: परिणाम काफी स्पष्ट और प्रभावशाली हैं। KG-आधारित मीडिएशन ने प्रिसिजन, रिकॉल और F1-स्कोर जैसे सभी प्रमुख मेट्रिक्स में स्कीमा-आधारित मीडिएशन से सांख्यिकीय रूप से बहुत बेहतर प्रदर्शन किया।
Host: क्या आप हमारे श्रोताओं के लिए कुछ सटीक आंकड़े साझा कर सकते हैं?
Expert: ज़रूर! GPT-4.1 मॉडल के लिए, KG-आधारित दृष्टिकोण ने 90.67% प्रिसिजन हासिल किया, जबकि स्कीमा-आधारित दृष्टिकोण के लिए यह केवल 69.05% था। इसका F1-स्कोर भी 89.47% रहा, जो स्कीमा-आधारित के 71.02% से काफी अधिक है। क्लाउड सोनेट 4 के साथ भी ऐसा ही देखा गया, जहाँ प्रिसिजन 75.17% से बढ़कर 87.23% हो गया। इसका मतलब है कि नॉलेज ग्राफ जोड़ने से AI मॉडल अधूरे इनपुट का सही अर्थ निकालने में बहुत अधिक सक्षम हो जाता है।
Host: यह तो प्रदर्शन में बहुत बड़ा उछाल है! लेकिन क्या इस अध्ययन की कुछ सीमाएँ भी हैं जिन्हें ध्यान में रखना चाहिए?
Expert: हाँ, अध्ययन में यह स्पष्ट किया गया है कि यह मूल्यांकन एक CFO इकाई के भीतर एक एकल-उद्यम सेटिंग पर केंद्रित था, जिसमें 29 उपयोगकर्ताओं के 158 इंटरैक्शन का सीमित डेटासेट शामिल था। इसके अलावा, यह लाइव फील्ड परिनियोजन के बजाय सिमुलेशन-आधारित मूल्यांकन पर निर्भर है।
Host: व्यावसायिक निर्णय निर्माताओं के लिए इसका क्या व्यावहारिक महत्व है? उन्हें इससे क्या सीख लेनी चाहिए?
Expert: बिजनेस लीडर्स के लिए सबसे बड़ा टेकअवे यह है कि एंटरप्राइज डेटा असिस्टेंट्स को सफल बनाने के लिए सिर्फ एक शक्तिशाली LLM जोड़ देना काफी नहीं है। AI को आपके आंतरिक डेटा संरचना की गहराई से समझ होना आवश्यक है। नॉलेज ग्राफ का उपयोग करके कंपनियां मैनुअल प्रॉम्प्ट इंजीनियरिंग के भारी खर्च और समय को बचा सकती हैं। इससे नॉन-टेक्निकल कर्मचारी बिना किसी झिझक के अपनी आम भाषा में सवाल पूछ सकते हैं और उन्हें सटीक डेटा मिलेगा, जिससे निर्णय लेने की प्रक्रिया तेज़ हो जाएगी।
Host: यानी, नॉलेज ग्राफ्स एंटरप्राइज AI को सही मायने में स्मार्ट और व्यावहारिक रूप से उपयोगी बनाते हैं। एलेक्स, आज की इस बेहद रोचक और महत्वपूर्ण जानकारी के लिए आपका बहुत-बहुत धन्यवाद।
Expert: मेरा सौभाग्य है, अन्ना।
Host: और हमारे सभी श्रोताओं का भी धन्यवाद। आशा है कि A.I.S. Insights का यह एपिसोड आपके लिए मददगार रहा होगा। अगले एपिसोड में फिर मिलेंगे एक नए टेक्नोलॉजी और बिजनेस टॉपिक के साथ। Living Knowledge से जुड़े रहें!
Large Language Models, Enterprise Data Assistants, Text-to-SQL, Knowledge Graphs, Design Science Research