返回资源库

核心问题 最新

AI 处理 · 作者审核

生成式AI聊天机器人应如何设计才能提供安全且有效的心理健康支持?

Design Considerations for Generative AI Tools in Mental Healthcare
Polina Durneva, Yuan Zhang, Sohye Lee · International Conference on Information Systems (ICIS) · 2026

25 次浏览

配图:生成式AI聊天机器人应如何设计才能提供安全且有效的心理健康支持?

加载 Spotify 播放器;Spotify 可能会设置 Cookie。本设备将记住您的选择。

主要发现

  • 用户和专家对该聊天机器人的通俗语言沟通、共情能力、情绪确认及易用性给予了高度评价,用户反馈其有助于将问题拆解为可执行的行动。
  • 评估同时发现其在回答的循证支撑、跨轮交互的语境保持、认知负荷管理以及心理危机识别方面存在显著不足。
  • 作者提出了四条设计准则:采用带来源标注的多阶段证据检索、语境引导的共情生成、适应用户理解能力的阶段式信息呈现,以及配备升级响应机制的专业多阶段危机检测。

实践启示

CIO / IT 高管

Initiate an audit of all deployed conversational AI tools to verify they incorporate specialized multi-stage crisis detection with automated escalation protocols.

IT 经理

Review current chatbot retrieval pipelines and implement multi-stage evidence retrieval architectures with strict source attribution.

商业战略师

Pivot the product roadmap to prioritize domain-specific mental health solutions built on curated evidence sources rather than general-purpose LLMs.

研究人员

Design evaluation metrics specifically to test generative AI's capacity for maintaining conversational context across multi-turn interactions and managing user cognitive load.

政策制定者

Draft regulatory compliance standards requiring digital mental health tools to feature verifiable evidence grounding and mandatory crisis escalation pathways.

摘要

本研究采用设计科学研究方法,创建并评估了一款用于学生压力管理的生成式人工智能聊天机器人。研究人员通过对20名用户进行访谈以明确需求,利用精选的心理健康资源开发了特定领域的聊天机器人,并通过由12名临床与信息学专家组成的小组评审以及对26名大学生的可用性测试对其进行了评估。这些评估见解随后被综合为针对未来心理健康AI工具的规范性设计准则。

核心问题

心理健康问题给个人和医疗体系带来了沉重负担,但服务提供者短缺及病耻感限制了人们获得传统照护的机会。尽管生成式AI在提供可扩展的对话式支持方面具备潜力,但通用模型存在产生幻觉的风险、缺乏循证依据且无法安全应对危机,导致设计者在构建安全的数字健康工具时缺乏可操作的指导。

文稿
Host: 欢迎收听 A.I.S. Insights — powered by Living Knowledge,我是 Anna Ivy Summers。今天我们要探讨一项发表于 2026 年信息系统国际会议 ICIS 的研究,题目是《心理健康领域生成式人工智能工具的设计考量》。这项研究由 Polina Durneva、Yuan Zhang 和 Sohye Lee 共同完成。今天和我一起讨论的是 Alex Ian Sutherland。Alex,欢迎你。
Expert: 谢谢 Anna。这项研究关注的是如何利用设计科学研究方法,为学生压力管理构建并评估生成式人工智能聊天机器人,并提炼出一套可供行业参考的设计准则。
Host: 让我们先来谈谈背景。目前在心理健康支持领域,现实痛点究竟是什么?
Expert: 心理健康问题给个人和公共医疗体系带来了显著负担。现实中,专业服务提供者资源短缺,加之病耻感的存在,很多人无法获得及时照护。生成式人工智能因其对话能力,为扩大照护覆盖面提供了潜在途径。然而,通用大型语言模型容易产生幻觉,缺乏临床循证支持,并且在应对心理危机时存在安全隐患。目前,开发团队在构建合规且安全的数字健康工具时,普遍缺乏具体可行的设计指南。
Host: 这项研究是如何开展评估并解决这一问题的?
Expert: 研究人员采用了设计科学研究方法。首先,他们对20名目标用户进行了深入访谈,以梳理具体需求。随后,基于精选的专业心理健康资源,开发了一款针对压力管理的垂直领域聊天机器人。在评估阶段,研究团队组织了由12位临床与信息学专家组成的小组进行审查,并对26名大学生进行了可用性测试,最后将这些实证反馈归纳为具体的设计原则。
Host: 在测试中,用户和专家对这类工具的表现有哪些具体反馈?
Expert: 评估结果呈现出两面性。积极方面,受访用户和专家认可了聊天机器人的通俗语言沟通能力、共情反馈以及对情绪的确认机制。学生用户特别指出,机器人能帮助他们把复杂的压力源拆解为可操作的小步骤。
Host: 那么,测试中发现了哪些不足或风险?
Expert: 评估也暴露了四个关键缺陷。第一,系统给出的建议有时缺乏明确的循证依据支撑;第二,在多轮长对话中,模型容易丢失前序语境;第三,单次输出信息量过大,增加了用户的认知负荷;第四,也是最关键的一点,系统在识别潜在心理危机信号方面表现不够稳定。针对这些局限,作者提出了四项规范性设计准则。
Host: 这四项设计准则具体包含哪些内容?
Expert: 第一,采用带来源标注的多阶段证据检索,确保建议基于权威医学资料并向用户展示出处。第二,实施语境引导的共情生成,避免机械式套话。第三,依据用户的即时理解能力,进行阶段式的信息呈现,降低认知压力。第四,建立专用的多阶段危机检测机制,一旦识别出严重心理危机,立即触发人工转接或紧急求助资源的升级响应。
Host: 这项研究对于关注医疗健康与企业福利数字化转型的商业决策者有何启示?
Expert: 核心启示在于,通用大模型不能直接开箱即用于健康支持场景。商业机构若想部署面向员工或消费者的心理支持工具,必须建立严格的技术架构:包括引入检索增强生成以保证循证真实性,重构交互界面以分段交付信息,以及最关键的,设立完备的危机上报与人工介入机制,以防范潜在的安全和合规风险。
Host: 也就是说,在追求服务可扩展性的同时,严谨的安全设计与循证框架是落地的必要前提。非常感谢 Alex 今天的梳理。也感谢各位听众收听本期 A.I.S. Insights — powered by Living Knowledge,我们下期再见。
Expert: 谢谢大家。
Artificial Intelligence & Automation Information Systems & Management Human-Computer Interaction Data Analytics & Big Data Digital Transformation & Strategy Cybersecurity & Privacy Cloud & Infrastructure E-Commerce & Digital Platforms Operations & Supply Chain Sustainability & Green IS

generative AI, mental healthcare, chatbots, design science research, stress self-management, digital mental health