加载 Spotify 播放器；Spotify 可能会设置 Cookie。本设备将记住您的选择。
主要发现
- ChatGPT 在所有核心框架领域的信息系统查询中正确回答了 65% 到 85% 的问题，其表现大致相当于中等水平的学生。
- 该模型在大学课程考试中的表现明显好于专业认证考试，未能达到 PMP 和 Microsoft Azure 管理员考试的及格分数。
- 与学生可以获取外部资源的开卷或在线考试环境相比，ChatGPT 在闭卷考试中相对于班级平均水平取得了更高的相对准确率。
- 虽然 ChatGPT 在各种 IS 主题上展示了广泛的覆盖面，但其回答倾向于列出结构化信息，而不是展示专家级别的批判性思维或复杂的解决问题能力。
实践启示
CIO / IT 高管
Task your IT training lead to pilot a small internal workshop for a select group of IT professionals focusing on the PMP and Microsoft Azure Administrator certifications, using ChatGPT as a supplementary learning tool to identify specific knowledge gaps and assess its effectiveness in preparing for these professional exams.
IT 经理
Instruct your team members responsible for generating internal documentation or knowledge base articles to compare the accuracy and completeness of ChatGPT's initial drafts on at least two core Information Systems topics (e.g., database management, network security) against your existing, verified internal resources.
商业战略师
Task a market analyst to explore potential use cases for ChatGPT in rapidly generating initial drafts of business process documentation or competitive analysis reports within your IS domain, noting its tendency to provide structured information over deep critical thinking.
研究人员
Design a controlled experiment to compare ChatGPT's performance on retrieving specific, factual information about IS concepts in a closed-book scenario versus an open-book scenario using publicly available academic papers, to validate the finding about its performance in different exam environments.
政策制定者
Request a briefing from your education and technology policy advisors on the implications of AI tools like ChatGPT achieving 'average student' performance in IS education, and explore potential guidelines for incorporating such tools responsibly in curriculum development and assessment.
摘要
本研究评估了 ChatGPT (GPT-3.5) 在信息系统 (IS) 领域的特定领域知识深度和质量。研究人员利用既定的 IS 能力框架，分析了 ChatGPT 在收集自大学 IS 课程和专业认证考试的 3,000 多个问题上的表现。
核心问题
虽然生成式人工智能工具展示出了令人印象深刻的通用学术能力，但它们在信息系统等专业领域的具体知识准确性仍不确定。教育工作者和行业专业人士缺乏明确的基准，以确定 ChatGPT 是否能够可靠地生成准确的 IS 内容、通过专业认证或在不发生幻觉的情况下回答复杂的技术咨询。
文稿
Expert: 谢谢 Anna，很高兴来到这里。
Host: Alex，现在生成式 AI 几乎无处不在，企业都在积极探索如何将它落地。但大家心里都有一个疑问：ChatGPT 在信息系统，也就是 IS 这个专业领域的知识到底有多深？这项研究正是为了解答这个问题。你能先和大家聊聊，研究背景中提到的“核心难题”是什么吗？
Expert: 没问题。现在的企业和教育工作者面临的最大困惑就是信任度问题。虽然生成式 AI 在通用对话、写邮件甚至创作上表现惊人，但在需要高度准确性的专业领域，比如信息系统管理、系统架构或项目管理，它到底靠不靠谱？大家缺乏一个客观的基准来判断它是否会产生“幻觉”，或者它能否真正回答复杂的技术咨询。
Host: 明白，这确实是很多商业领袖最担心的。那研究人员是如何对 ChatGPT 进行测试的呢？
Expert: 研究团队采用了非常严谨的方法。他们基于成熟的信息系统能力框架，搜集了 3,000 多个真实问题。这些问题涵盖了大学的专业课程，以及像 PMP 项目管理专业认证、微软 Azure 管理员认证等权威的行业专业考试。然后，他们对 ChatGPT 在这些考题上的表现进行了全面评估。
Host: 听起来测试量相当庞大。那评估出来的最终结果如何？ChatGPT 拿到了高分吗？
Expert: 简而言之，它的表现相当于一个“中等水平的学生”。研究显示，ChatGPT 在所有核心信息系统领域的平均正确率在 65% 到 85% 之间。如果按照大学成绩来看，大概就是中等偏上的水平。
Host: 听起来还不错，那它在行业认证考试中的表现呢？
Expert: 这就是非常关键的一个发现了。ChatGPT 在大学课程考试中的表现明显好于职业认证考试。实际上，它并没有达到 PMP 或微软 Azure 管理员这类专业考试的及格线。也就是说，它虽然掌握了广博的基础知识，但在面对需要深度实战经验和严密逻辑推演的专业认证时，依然力不从心。
Host: 这真是一个很有价值的发现。除了这一点，研究中还有哪些令人意外的结论？
Expert: 还有两点很有意思。第一，在闭卷考试的环境下，ChatGPT 相对于班级平均水平的表现更好，因为人类学生无法查阅资料；但在开卷或线上考试中，人类学生借助外部资源，表现就会反超 ChatGPT。第二，ChatGPT 的回答往往非常结构化，擅长列出要点，但缺乏专家级别的批判性思维和解决复杂问题的能力。
Host: 这些发现对我们的企业管理者和业务专业人士意味着什么？在实际业务场景中，我们应该如何正确看待和使用像 ChatGPT 这样的工具？
Expert: 我认为有三个关键的商业启示。首先，定位要准确。企业应该把 ChatGPT 定位为一个“初级助理”或“头脑风暴工具”，它可以快速梳理信息、生成基础框架，但决不能直接替代高阶的 IT 顾问或系统架构师。其次，风险把控至关重要。在涉及高风险的决策、复杂的架构设计或专业认证培训时，绝不能完全依赖 AI 生成的内容，必须由专业人员进行审核。最后，企业需要意识到，AI 擅长总结已知信息，但缺乏真正的批判性思考，而这恰恰是企业核心竞争力的来源。
Host: 总结得非常到位。AI 可以成为强大的效率放大器，但人类专家的专业判断力依然无可替代。
Expert: 完全正确。
Host: 感谢 Alex 今天为我们带来的精彩解读，也感谢各位听众的收听。以上就是本期《A.I.S. Insights — powered by Living Knowledge》的全部内容，我们下期再见！
ChatGPT, Large Language Models, Generative AI, Information Systems Competency, Artificial Intelligence in Education, Knowledge Assessment