返回资源库

核心问题 最新

AI 处理 · 作者审核

与人类反馈相比,信任AI反馈有何不同,又如何影响团队绩效?

When AI Credibility Fractures: Human vs. AI Feedback Sources in Global Virtual Student Team Projects
Dhruv Pratap SINGH, Vasyl Taras · International Conference on Information Systems (ICIS) · 2026
配图:与人类反馈相比,信任AI反馈有何不同,又如何影响团队绩效?

加载 Spotify 播放器;Spotify 可能会设置 Cookie。本设备将记住您的选择。

主要发现

  • 对人类反馈可信度(教授和导师)的感知凝聚为一个单一的整体判断,而AI可信度在能力、可靠性和善意维度上依然保持分化。
  • 教授的可信度正向预测了同伴互评表现(β = .155, p < .001)和自评表现(β = .113, p < .001)。
  • AI可信度的不同维度对表现呈现出相反的影响:AI能力与同伴互评表现正相关(β = .138, p = .003),而AI可靠性与同伴互评表现负相关(β = −.268, p < .001)。
  • 在任务执行期间积极与反馈源互动的参与者中,所有反馈源的可信度效应均显著更强或仅在其中存在。
  • 将AI可信度建模为单一总体得分掩盖了不同的潜在机制,从而导致与同伴互评表现之间产生具有误导性的净负相关关系。

实践启示

CIO / IT 高管

Review enterprise AI deployment dashboards to ensure tools emphasize demonstrable task competence rather than conversational 'trustworthiness' features, as the research shows AI trustworthiness perceptions negatively predict collaborative performance.

IT 经理

Audit internal team AI integration guides to ensure employees are actively engaging with AI as a task-specific competence tool rather than passively trusting its outputs, since credibility effects only activate through active engagement.

商业战略师

Reallocate training budgets away from general AI trust-building initiatives and toward skills-based prompt engineering that highlights AI competence and factual verification.

研究人员

Revise survey instruments to measure AI credibility across multidimensional criteria (competence, trustworthiness, goodwill) rather than a single composite score, preventing the masking of opposing performance effects.

政策制定者

Draft guidelines requiring educational and workplace AI tools to clearly display functional competence and source limitations rather than simulating interpersonal trustworthiness, mitigating risks of detrimental over-reliance.

摘要

本研究探讨了信源可信度理论是否可以从人类传播者延伸至数字化协作学习中的生成式AI反馈源。基于来自31个国家、参与为期11周的全球虚拟咨询项目的3776名学生的调查和表现数据,作者评估了学生对教授、项目导师和生成式AI工具的可信度评价。研究采用结构方程模型评估了这些可信度感知如何与后续的自评和同伴互评表现相关联。

核心问题

随着生成式AI工具与人类教师和导师一同融入教育和协作工作流,学习者经常需要应对来自人类与非人类来源的反馈。然而,人们对于个体是否使用与评估人类传播者相同的多维标准来评估AI可信度知之甚少。此外,在协作环境中信任AI反馈究竟会促进还是损害实际表现仍不明确。

文稿
Host: 大家好,欢迎收听由 Living Knowledge 支持的商业与技术播客 A.I.S. Insights。我是主持人 Anna Ivy Summers。今天我们要探讨一项发表于 2026 年信息系统国际会议(ICIS)上的最新研究,题目是《当AI可信度产生裂痕:全球虚拟学生团队项目中的人类与AI反馈源》。这项研究由 Dhruv Pratap SINGH 和 Vasyl Taras 共同完成,探讨了传统的信源可信度理论是否可以从人类传播者延伸至数字化协作环境中的生成式人工智能反馈。和我一起探讨这个话题的是我们的分析师 Alex Ian Sutherland。Alex,欢迎你。
Expert: 谢谢 Anna。在当今的企业和教育环境中,生成式人工智能正在迅速融入协作工作流,员工和学生往往需要同时接收来自人类主管、导师以及 AI 工具的反馈。这引发了一个关键的实际问题:我们在评估人工智能的可信度时,采用的标准是否与评估人类相同?更重要的是,在协作环境中信任 AI 反馈,究竟会提升还是削弱团队的实际表现?这项研究正是为了解答这些问题。
Host: 这确实是许多正在尝试引入 AI 辅助决策的组织所关心的核心痛点。那么,这项研究是如何开展的呢?
Expert: 研究团队依托一个为期 11 周的全球虚拟咨询项目,收集了来自 31 个国家的 3776 名参与者的问卷调查和实际表现数据。参与者在项目执行期间,分别从大学教授、项目导师以及生成式 AI 工具处接收反馈。研究人员采用结构方程模型,评估了参与者对这三类反馈源的可信度感知,并将其与后续的自评表现以及同伴互评表现进行了关联分析。
Host: 涉及 3000 多名跨国样本,数据规模相当可观。那么,研究得出了哪些主要发现?
Expert: 第一个核心发现是,人们评估人类与评估 AI 的心理机制存在本质区别。对于人类反馈源,也就是教授和导师,人们的可信度感知会凝聚为一个单一的整体判断。换句话说,如果一个人觉得导师有能力,往往也会认为导师可靠且怀有善意。然而对于生成式 AI,这种整体感破裂了。参与者在评估 AI 时,将其能力、可靠性和善意严格区分为独立的维度。
Host: 也就是说,人们并不把 AI 视为一个整体的人格化对象,而是把它的能力和可靠性分开看待。这对其在团队中的表现产生了怎样的影响?
Expert: 这正是这项研究最值得关注的结果。数据表明,教授的可信度正向预测了同伴互评表现,路径系数为 0.155,p 值小于 0.001;同时也正向预测了自评表现,路径系数为 0.113,p 值同样小于 0.001。然而,AI 可信度的不同维度对表现呈现出相反的影响。
Host: 相反的影响?具体体现在哪里?
Expert: 具体来说,AI 的能力感知与同伴互评表现呈正相关,路径系数为 0.138,p 值为 0.003。但是,AI 的可靠性感知却与同伴互评表现呈显著负相关,路径系数为负 0.268,p 值小于 0.001。
Host: 认为 AI 可靠,反而导致了更差的同伴评价表现?为什么会出现这种现象?
Expert: 这通常与“过度依赖”有关。当团队成员高度认可 AI 的生成能力时,他们会利用 AI 拓展思路、丰富方案;但如果他们过度信任 AI 的可靠性,就容易放弃独立审查和批判性思考,直接采纳可能存在幻觉或缺陷的输出,从而在同伴互评中暴露出方案质量问题。此外,研究还发现,如果将 AI 可信度简单合并为一个总体得分,就会掩盖这两个维度的相反机制,得出误导性的净负相关结论。同时,所有反馈源的效应在那些积极与反馈源互动的成员中显著更强,而在缺乏互动的成员中并不显著。
Host: 从企业管理和技术应用的角度来看,这项研究为业务实践者提供了哪些明确的启示?
Expert: 首先,企业在推行生成式 AI 工具时,不能简单要求员工“信任 AI”,而必须对信任进行精细化管理。培训的重点应当是引导员工利用 AI 的能力进行内容生成与头脑风暴,同时对其可靠性保持审慎,建立严格的人工验证流程。其次,由于人类导师的可信度稳定带来正向收益,企业在引入 AI 协同工作时,不应完全由自动化工具替代资深专家或管理者的反馈,而是要将人类指导与机器建议有机结合。最后,系统需要鼓励深度互动,因为被动接收反馈往往无法带来实质性的绩效改善。
Host: 总结来说,对 AI 的信任不能一概而论,既要发挥其能力的优势,又要警惕过度依赖可靠性带来的隐患。非常感谢 Alex 带来的深入解析,也感谢各位听众收听本期的 A.I.S. Insights — powered by Living Knowledge。我们下期节目再见。
Expert: 谢谢 Anna,再见。
Artificial Intelligence & Automation Information Systems & Management Human-Computer Interaction Data Analytics & Big Data Digital Transformation & Strategy Cybersecurity & Privacy Cloud & Infrastructure E-Commerce & Digital Platforms Operations & Supply Chain Sustainability & Green IS

Generative AI, source credibility, CASA, global virtual teams, calibrated reliance, peer evaluation, digital learning