返回资源库

核心问题 最新

AI 处理 · 作者审核

管理者如何衡量员工是否在批判性且有效地使用生成式人工智能工具?

Critical Engagement with Generative AI: Development and Validation of a Scale
Anjali Tripathi, Soumyakanti Chakraborty, Abhipsa Pal, 等 · International Conference on Information Systems (ICIS) · 2026

17 次浏览

配图:管理者如何衡量员工是否在批判性且有效地使用生成式人工智能工具?

加载 Spotify 播放器;Spotify 可能会设置 Cookie。本设备将记住您的选择。

主要发现

  • 将对生成式人工智能的批判性应用构念化为一个反思性构念,包含两个子维度:输入的深思熟虑构建与输出的怀疑性审视。
  • 通过34名评估者进行的正式内容效度检验,将最初的34个题项精简至18项,确立了对应性与独特性。
  • 基于153名受访者数据的探索性因子分析(KMO = 0.860)支持了双因子结构,确立了提炼后的15题项测量模型。
  • 发现对人工智能输出的怀疑态度会直接促使知识工作者采取更受控、循序渐进的输入行为并设立防护边界。

实践启示

CIO / IT 高管

Allocate Q3 budget to transition enterprise AI training away from basic prompt-writing tutorials and fund programs focused on cognitive oversight, specifically teaching staff how to conduct systematic skeptical reviews of AI-generated code and text.

IT 经理

Update your team's code-review and document-drafting checklists to explicitly require a documented 'skeptical review' step, ensuring engineers do not blindly copy-paste probabilistic AI outputs without testing edge cases.

商业战略师

Audit your department's current AI-driven workflows to identify where deterministic assumptions are being made, and mandate a step-by-step 'thoughtful structuring of input' protocol for any high-stakes market analysis or forecasting tasks.

研究人员

Use the validated 15-item measurement scale from this study to design a survey measuring baseline critical engagement levels across a cohort of enterprise knowledge workers before rolling out a new generative AI tool.

政策制定者

Draft internal corporate governance guidelines specifying that high-impact AI use cases (such as compliance or HR) require human-in-the-loop verification steps to counter non-deterministic hallucinations and probabilistic errors.

摘要

本研究开发并验证了一个测量量表,用于评估知识工作者如何批判性地应用生成式人工智能工具。研究基于批判性思维和问题解决文献,对资深专业人员开展了焦点小组访谈,通过34位专家评估了内容效度,并利用153名受访者的数据进行了探索性因子分析。

核心问题

生成式人工智能产生概率性、非确定性的输出,可能引入细微错误和幻觉,这需要认知层面的监督而非表面上的提示词编写技巧。以往的信息系统研究主要关注确定性工具和外在行为,忽视了衡量与生成式人工智能进行深度交互所需的底层认知能力。

文稿
Host: 大家好,欢迎收听由 Living Knowledge 支持的 A.I.S. Insights。我是 Anna Ivy Summers。今天我们要探讨一项发表于 2026 年国际信息系统会议(ICIS)的最新研究,由 Anjali Tripathi、Soumyakanti Chakraborty、Abhipsa Pal、Rajiv Kumar 和 Tejaswini Herath 共同完成。这项研究的题目是《生成式人工智能的批判性应用:量表的开发与验证》。它关注的是知识工作者在日常任务中如何以批判性思维来评估与使用生成式人工智能工具。你好,Alex。
Expert: 你好,Anna。这项研究的核心在于,它为学界和企业提供了一套经过实证检验的度量工具,用于评估员工在与生成式人工智能交互时所运用的底层认知监督能力。
Host: 提到生成式人工智能,目前很多企业都在普及提示词编写技巧。但这项研究指出了一个更深层的现实问题,对吗?
Expert: 是的。过去的信息系统研究大多针对确定性工具,关注的是可见的外在操作行为。然而,生成式人工智能具有概率性和非确定性特征,容易产生细微的事实错误和幻觉。掌握表面的提示词技巧并不能保证工作成果的可靠性,它需要深层次的认知介入来识别潜在缺陷。此前,业界一直缺乏科学的工具来衡量这种认知层面的交互质量。
Host: 那么,研究团队是通过什么方法来构建这一测量工具的?
Expert: 研究人员首先基于批判性思维和复杂问题解决的理论文献,对资深专业人员开展了焦点小组访谈,提炼出初始题项。接着,他们邀请了 34 位专业评估者进行正式的内容效度检验,将最初的 34 个题项精简至 18 项,确保每个题项的对应性与独特性。最后,研究团队利用 153 名受访者的数据开展了探索性因子分析。
Host: 分析得出的主要结论是什么?
Expert: 数据分析支持了一个双因子结构,样本的 KMO 检验值为 0.860,最终确定了包含 15 个题项的精炼测量模型。这项研究将批判性应用定义为两个反思性子维度:其一是“输入的深思熟虑构建”,其二是“输出的怀疑性审视”。数据表明,知识工作者对人工智能输出保持的怀疑态度,会直接促使他们采取更受控、循序渐进的输入方式,并为主动作业设立防护边界。
Host: 这项成果对企业管理和实际业务有哪些具体的指导价值?管理者可以如何利用这些发现?
Expert: 它的应用价值主要体现在三个方面。第一是能力评估:企业可以使用这套 15 题项量表,客观衡量员工在工作中对人工智能内容的审视水平,识别过度依赖或盲目采纳的潜在风险。第二是员工培训:企业的培训重点可以从单纯的提示词套用,转向培养审视输出真实性、分步骤引导模型并设定约束边界的综合能力。第三是人机协同流程设计:了解这两种认知行为有助于企业在关键业务流程中建立更合理的复核机制,提高决策的严谨性。
Host: 总结来说,有效应用生成式人工智能不仅依赖于操作技巧,更取决于使用者是否具备系统的怀疑精神与审慎的输入控制策略。非常感谢 Alex 的专业解析,也感谢各位听众的收听。我们下期 A.I.S. Insights 再见。
Expert: 谢谢 Anna,大家再见。
Artificial Intelligence & Automation Information Systems & Management Human-Computer Interaction Data Analytics & Big Data Digital Transformation & Strategy Cybersecurity & Privacy Cloud & Infrastructure E-Commerce & Digital Platforms Operations & Supply Chain Sustainability & Green IS

Generative AI, Critical Engagement, Scale Development, Human-AI Interaction, Knowledge Work, Large Language Models