प्रमुख प्रश्न
AI द्वारा प्रसंस्कृत · लेखक द्वारा अनुमोदित
सूचना प्रणाली के पाठ्यक्रम प्रश्नों और पेशेवर प्रमाणन परीक्षाओं में ChatGPT कैसा प्रदर्शन करता है?
Spotify का प्लेयर लोड करता है; Spotify कुकीज़ सेट कर सकता है। यह डिवाइस आपकी पसंद याद रखता है।
मुख्य निष्कर्ष
- चैटजीपीटी ने सभी मुख्य ढांचा क्षेत्रों में सूचना प्रणाली के 65% से 85% प्रश्नों का सही उत्तर दिया, और इसका प्रदर्शन मोटे तौर पर एक औसत छात्र के स्तर पर रहा।
- मॉडल ने पेशेवर प्रमाणन परीक्षाओं की तुलना में विश्वविद्यालय पाठ्यक्रम परीक्षाओं में काफी बेहतर प्रदर्शन किया, हालांकि यह PMP और माइक्रोसॉफ्ट एज़्योर एडमिनिस्ट्रेटर परीक्षाओं के लिए उत्तीर्ण अंक प्राप्त करने में विफल रहा।
- ओपन-बुक या ऑनलाइन परीक्षा वातावरण (जहां छात्रों के पास बाहरी संसाधनों तक पहुंच थी) की तुलना में क्लोज्ड-बुक परीक्षाओं में चैटजीपीटी ने कक्षा के औसत के मुकाबले उच्च सापेक्ष सटीकता हासिल की।
- हालांकि चैटजीपीटी ने विभिन्न आईएस विषयों को व्यापक रूप से कवर किया, लेकिन इसके उत्तरों ने विशेषज्ञ-स्तरीय आलोचनात्मक सोच या जटिल समस्या-समाधान का प्रदर्शन करने के बजाय संरचित जानकारी को सूचीबद्ध करने को प्राथमिकता दी।
आपके लिए इसका क्या अर्थ है
CIO / आईटी एक्ज़ीक्यूटिव
Task your IT training lead to pilot a small internal workshop for a select group of IT professionals focusing on the PMP and Microsoft Azure Administrator certifications, using ChatGPT as a supplementary learning tool to identify specific knowledge gaps and assess its effectiveness in preparing for these professional exams.
आईटी प्रबंधक
Instruct your team members responsible for generating internal documentation or knowledge base articles to compare the accuracy and completeness of ChatGPT's initial drafts on at least two core Information Systems topics (e.g., database management, network security) against your existing, verified internal resources.
बिज़नेस रणनीतिकार
Task a market analyst to explore potential use cases for ChatGPT in rapidly generating initial drafts of business process documentation or competitive analysis reports within your IS domain, noting its tendency to provide structured information over deep critical thinking.
शोधकर्ता
Design a controlled experiment to compare ChatGPT's performance on retrieving specific, factual information about IS concepts in a closed-book scenario versus an open-book scenario using publicly available academic papers, to validate the finding about its performance in different exam environments.
नीति निर्माता
Request a briefing from your education and technology policy advisors on the implications of AI tools like ChatGPT achieving 'average student' performance in IS education, and explore potential guidelines for incorporating such tools responsibly in curriculum development and assessment.
सारांश
यह अध्ययन सूचना प्रणालियों (IS) के क्षेत्र में चैटजीपीटी (GPT-3.5) के डोमेन-विशिष्ट ज्ञान की गहराई और गुणवत्ता का मूल्यांकन करता है। एक स्थापित आईएस योग्यता ढांचे का उपयोग करते हुए, शोधकर्ताओं ने विश्वविद्यालय के आईएस पाठ्यक्रमों और पेशेवर प्रमाणन परीक्षाओं से एकत्र किए गए 3,000 से अधिक प्रश्नों पर चैटजीपीटी के प्रदर्शन का विश्लेषण किया।
समस्या
हालांकि जनरेटिव एआई उपकरण प्रभावशाली सामान्य शैक्षणिक क्षमताओं का प्रदर्शन करते हैं, लेकिन सूचना प्रणालियों जैसे विशिष्ट क्षेत्रों में उनके ज्ञान की सटीकता अनिश्चित बनी हुई है। शिक्षकों और उद्योग के पेशेवरों के पास इस बात के स्पष्ट मानक नहीं हैं कि क्या चैटजीपीटी विश्वसनीय रूप से सटीक आईएस सामग्री तैयार कर सकता है, पेशेवर प्रमाणपत्र पास कर सकता है, या बिना किसी भ्रामक जानकारी (hallucination) के जटिल तकनीकी प्रश्नों का उत्तर दे सकता है।
ट्रांसक्रिप्ट
Expert: और मैं अलेक्स इयान सदरलैंड हूँ। आज के एपिसोड में हमारे सभी श्रोताओं का स्वागत है।
Host: आज हम एक बेहद प्रासंगिक अध्ययन पर चर्चा कर रहे हैं, जिसका शीर्षक है, "चैटजीपीटी सूचना प्रणालियों के बारे में क्या जानता है?" अलेक्स, संक्षेप में बताएं कि यह अध्ययन किस बारे में है?
Expert: बिल्कुल एना। यह अध्ययन सूचना प्रणालियों यानी इंफॉर्मेशन सिस्टम्स के क्षेत्र में चैटजीपीटी के ज्ञान की गहराई और गुणवत्ता का मूल्यांकन करता है। शोधकर्ताओं ने विश्वविद्यालय के पाठ्यक्रमों और व्यावसायिक प्रमाणन परीक्षाओं से एकत्र किए गए 3,000 से अधिक प्रश्नों पर चैटजीपीटी के प्रदर्शन का विश्लेषण किया।
Host: यह बहुत दिलचस्प लगता है! लेकिन अलेक्स, इस अध्ययन को करने की आवश्यकता क्यों पड़ी? वास्तविक दुनिया में कौन सी बड़ी समस्या थी जिसे यह संबोधित करता है?
Expert: मुख्य समस्या यह है कि जनरेटिव एआई उपकरण सामान्य कार्यों में तो बहुत प्रभावशाली प्रदर्शन करते हैं, लेकिन सूचना प्रणालियों जैसे विशिष्ट व्यावसायिक और तकनीकी क्षेत्रों में उनकी सटीकता अनिश्चित बनी हुई है।
Expert: व्यवसायिक पेशेवरों और शिक्षकों के पास यह जानने के लिए स्पष्ट मानदंड नहीं थे कि क्या चैटजीपीटी पर जटिल तकनीकी सामग्री तैयार करने, व्यावसायिक प्रमाणपत्र पास करने या बिना किसी भ्रामक जानकारी यानी हैल्यूसिनेशन के सटीक उत्तर देने के लिए भरोसा किया जा सकता है।
Host: तो फिर शोधकर्ताओं ने इसका परीक्षण कैसे किया? उन्होंने कौन सा तरीका अपनाया?
Expert: शोधकर्ताओं ने एक स्थापित सूचना प्रणाली योग्यता ढांचे का उपयोग किया। उन्होंने विश्वविद्यालय के विभिन्न पाठ्यक्रमों और माइक्रोसॉफ्ट एज़्योर तथा पीएमपी जैसे पेशेवर सर्टिफिकेशन परीक्षाओं के 3,000 से अधिक प्रश्नों का उपयोग करके चैटजीपीटी का परीक्षण किया। यह एक बहुत ही व्यावहारिक दृष्टिकोण था।
Host: तो इस अध्ययन के मुख्य परिणाम क्या रहे? चैटजीपीटी ने कैसा प्रदर्शन किया?
Expert: परिणाम काफी आंखें खोलने वाले रहे। चैटजीपीटी ने सूचना प्रणाली के 65% से 85% प्रश्नों का सही उत्तर दिया, जो मोटे तौर पर एक औसत छात्र के प्रदर्शन के बराबर है।
Host: एक औसत छात्र का स्तर! क्या व्यावसायिक सर्टिफिकेशन और यूनिवर्सिटी परीक्षाओं के नतीजों में कोई अंतर था?
Expert: हां, बिल्कुल। चैटजीपीटी ने यूनिवर्सिटी परीक्षाओं में बहुत बेहतर प्रदर्शन किया, लेकिन यह पीएमपी और माइक्रोसॉफ्ट एज़्योर एडमिनिस्ट्रेटर जैसी कठिन व्यावसायिक परीक्षाओं में उत्तीर्ण अंक प्राप्त करने में विफल रहा।
Host: यह एक बहुत ही महत्वपूर्ण अंतर है। क्या परीक्षाओं के प्रकार से भी कोई फर्क पड़ा?
Expert: बिल्कुल, क्लोज्ड-बुक परीक्षाओं में, जहाँ छात्रों के पास बाहरी मदद नहीं थी, चैटजीपीटी ने छात्रों के औसत के मुकाबले बेहतर सापेक्ष सटीकता दिखाई। लेकिन ओपन-बुक परीक्षाओं में जहाँ छात्रों के पास संसाधन उपलब्ध थे, चैटजीपीटी का प्रदर्शन छात्रों की तुलना में पीछे रह गया।
Host: और उत्तरों की गुणवत्ता के बारे में क्या? क्या यह एक विशेषज्ञ की तरह सोच सकता है?
Expert: नहीं, यहीं पर इसकी सीमाएँ स्पष्ट हुईं। हालांकि इसने विभिन्न विषयों को व्यापक रूप से कवर किया, लेकिन इसके उत्तरों में विशेषज्ञ-स्तरीय आलोचनात्मक सोच या जटिल समस्या-समाधान के बजाय केवल संरचित जानकारी की सूची बनाने को प्राथमिकता दी गई थी।
Host: यह बात व्यवसायिक नेताओं के लिए बहुत मायने रखती है। अलेक्स, हमारे श्रोताओं के लिए इसका व्यावहारिक व्यावसायिक अर्थ क्या है?
Expert: बिजनेस के लिए सबसे बड़ा सबक यह है कि चैटजीपीटी एक बेहतरीन जूनियर असिस्टेंट हो सकता है जो बुनियादी जानकारी, ड्राफ्टिंग और संरचित सारांश तैयार कर सकता है।
Expert: लेकिन आप इस पर जटिल रणनीति, उच्च-स्तरीय समस्या-समाधान या महत्वपूर्ण निर्णय लेने के लिए आँख बंद करके भरोसा नहीं कर सकते। इसके उत्तरों में गहराई और आलोचनात्मक सोच की कमी होती है, इसलिए मानवीय विशेषज्ञता आज भी अनिवार्य है।
Host: यानी इसका उपयोग उत्पादकता बढ़ाने के लिए करें, लेकिन अंतिम निर्णय हमेशा एक मानव विशेषज्ञ द्वारा ही लिया जाना चाहिए।
Expert: बिल्कुल सही, एना। यह एक उपकरण है, विशेषज्ञ का विकल्प नहीं।
Host: आज की चर्चा बहुत ही जानकारीपूर्ण रही, अलेक्स। हमारे साथ यह विश्लेषण साझा करने के लिए धन्यवाद।
Expert: धन्यवाद एना, यहाँ आकर बहुत खुशी हुई।
Host: और हमारे सभी श्रोताओं को भी धन्यवाद। ए.आई.एस. इंसाइट्स — पावर्ड बाय लिविंग नॉलेज का यह एपिसोड सुनने के लिए। अगली बार फिर मिलते हैं!
ChatGPT, Large Language Models, Generative AI, Information Systems Competency, Artificial Intelligence in Education, Knowledge Assessment