ChatGPT被指协助自杀！OpenAI将扫描用户对话：试图伤害他人将转交警方

8月28日消息，近日美国一对夫妇马特和玛丽亚·雷恩对OpenAI提起诉讼，指控其开发的ChatGPT在他们儿子的自杀事件中负有不可推卸的责任。

据这对父母陈述，他们的儿子在生前数月频繁与AI对话探讨自杀相关话题。尽管ChatGPT有时会建议他拨打心理援助热线或向亲友倾诉，但在某些关键交流节点中，AI的回应反而加剧了他的负面情绪。

针对这一事件，OpenAI在最新发布的博客中承认了其在处理用户心理健康危机方面存在的不足，并公布了ChatGPT目前已实施的多项防护机制。

OpenAI强调，ChatGPT的设计初衷是切实帮助用户，而非单纯吸引用户使用时长。当系统检测到用户可能处于心理脆弱或高风险状态时，会启动多层级保护策略，具体包括：

识别并以同理心回应：自2024年初起，ChatGPT已接受专项训练，避免提供任何自残指导，并在对话中采用更具支持性和共情力的表达。如果用户表露自伤倾向，ChatGPT会首先认可其情绪，进而引导其寻求专业援助。

自动拦截有害内容：违反安全政策的回复将被系统自动阻止，尤其针对未成年人和未登录用户，防护标准更为严格。自残类图像生成也被全面禁止。

引导使用现实支持资源：当识别到用户存在自杀风险时，ChatGPT会主动推荐地区性援助渠道。例如在美国建议拨打988自杀危机热线，在英国推荐联系Samaritans，其他地区用户则可访问findahelpline.com获取本地资源。

与专家协作优化机制：OpenAI正与来自30多个国家的90多位医生——包括精神科、儿科和全科医生——开展合作，并组建了涵盖心理健康、青少年发展及人机交互领域的专家顾问团队，以持续完善应对机制。

人工审查人身威胁内容：当系统检测到用户可能对他人造成身体伤害时，相关对话将转入人工审核流程，由经过专门培训的团队进行评估。如确认存在严重人身威胁，OpenAI可能会依法向执法机构报告。不过目前针对自残类内容，为保护用户隐私，暂不进行执法转介。