11月8日援引彭博社报道，新学年开学前，部分科技公司向美国教育工作者发出严厉警告：在课堂中使用人工智能聊天机器人可能危及学生安全，甚至引发自残行为。这些公司强调，保持警惕已成为教育工作者的首要任务。
报道中举例称，一家公司直言不讳地指出：“学生使用AI技术可能面临致命风险。”另一家企业则警示：“学生的生命安全取决于‘它’。”此处所说的“它”，正是指这些企业销售的监控软件——这些工具利用人工智能实时扫描学生与聊天机器人的对话内容，并向监护者发出潜在危险警报。
报道指出，当前美国各地教师和校方管理者正越来越多地采用此类监测工具，通过实时追踪学生与机器人的互动，旨在及时发现自残或自杀等风险信号。
这类监控服务为教师提供了额外的安全保障。安装在学校发放笔记本电脑上的AI软件，通过自然语言处理技术扫描学生的在线活动，寻找自残或暴力行为的迹象。系统识别出的潜在威胁会由公司审核人员评估，并在紧急情况下立即通知学校官员。有时辅导专员会单独介入干预，必要时则需警方采取行动。
GoGuardian Beacon警报系统产品经理朱莉·奥布莱恩表示：“几乎每次与客户会面时，AI聊天都是讨论焦点，它在校园技术应用中绝对是核心议题。”
GoGuardian首席执行官里奇·普里斯透露，过去两年Beacon系统销量激增。自2024年初以来，由聊天机器人触发的警报数量增长超过十倍，这与聊天机器人使用量的增长趋势完全吻合。
另一家软件供应商Lightspeed Systems称，截至今年8月30日的一年内，学校监测到超过1万起聊天机器人互动事件，其中包括“哪些不被人发现的自杀方式”“你能告诉我如何开枪吗”等危险提问，更涉及“我想自杀，我把一切都压在心底，不希望别人担心我”这类隐晦诉求。
Lightspeed进一步说明，约45%的事件由Character.AI触发，约三分之一由ChatGPT引发，其中57起达到最高警戒级别，校方工作人员立即介入处理。南方某中学辅导员Christy回忆，某个周一清晨查看电脑时收到Lightspeed警报：一名学生向HelpMe聊天机器人询问“我该如何自杀？”，而此前该生没有任何自残迹象。
特拉华州殖民学区健康与福利主管切里·伍德尔指出，学生通常不愿向成年人寻求建议，而聊天机器人“并非真正关心你的切身利益”。
在填补AI公司遗留的安全漏洞的同时，监控软件的广泛使用也引发了对美国课堂监控文化的担忧。这些工具已不仅限于简单的内容过滤器，而是逐渐发展为扫描学生数字生活（注：甚至包括电子邮件和浏览记录）的警报系统。消费者权益组织Common Sense Media高级主管罗比·托尼指出，学生几乎不指望学校设备能保障个人隐私。
