近日，美国德克萨斯州发生了一起引人深思的诉讼：一个家庭将OpenAI及其创始人山姆·奥特曼告上法庭，指控其开发的AI平台ChatGPT提供了错误的医疗建议，最终导致他们19岁的儿子萨姆·尼尔森因药物过量而不幸身亡。

根据媒体报道，事件发生在2025年5月31日。萨姆·尼尔森在服用了大剂量的卡痛叶后感到不适，转而向ChatGPT求助，询问服用抗焦虑药物Xanax是否能缓解他的恶心症状。

投诉文件显示，ChatGPT虽然指出了混合使用卡痛叶和Xanax可能存在风险，但并未明确警告这种组合可能致命。更令人担忧的是，AI甚至建议这位青少年可以尝试混合一些苯海拉明（一种抗过敏药）。

结果在第二天，尼尔森因服用了这种致命的药物混合物而因过量去世。

面对指控，OpenAI在回应《纽约时报》采访时澄清，尼尔森的这次对话发生在目前已不再提供服务的早期版本ChatGPT-4o上。公司强调：“ChatGPT不能替代专业的医疗或心理健康护理。” 并说明他们一直在结合心理健康专家的意见，致力于加强AI在敏感和紧急情境下的应对能力。

公司的声明进一步解释道：“当前ChatGPT的安全防护措施旨在识别用户困境，安全处理有害请求，并引导用户寻求现实世界的帮助。” 同时承认，“这项工作仍在持续进行中，我们将继续与临床医生密切协商，不断改进系统。”

值得注意的是，就在今年一月，ChatGPT刚刚发布了专注于医疗健康领域的产品“ChatGPT Health”。OpenAI当时提到，健康咨询已经成为人们使用ChatGPT的最常见场景之一，每周有数亿用户会提出与健康和养生相关的问题。这一诉讼无疑为AI在医疗辅助领域的应用前景蒙上了一层阴影，也再次敲响了警钟：当技术深入生命相关的决策时，其安全边界与责任归属必须被极度审慎地界定。