OpenAI安全团队再度流失一位核心成员。

就在刚刚，安全研究副总裁Lilian Weng正式宣布离职。她在公开信中回顾了在OpenAI七年的职业生涯，也让外界再次关注这家公司AI安全团队的人员变动与内部动荡。

2017年，她首次被OpenAI的使命所吸引。当时，她只是众多被“科幻般未来”愿景所召唤的一员。七年过去，她经历了多重角色转变：从机器人团队的研究科学家，到应用研究团队的组建者，再到安全系统团队的负责人。尤其是在GPT-4发布后，她接下了那个“最困难、最有压力，也最令人兴奋”的任务——重新定义OpenAI的安全系统愿景，并将整个安全堆栈整合到一个团队之下。

成果有目共睹。o1-preview，这个被她视为“迄今为止最安全的模型”，正是她们团队的杰作。该模型在保持实用性的同时，对越狱攻击展现出了卓越的抵抗力。

如今，她说：“是时候重新出发了。”

长期以来，Lilian Weng的博客文章一直是业界标杆。每一篇万字长文既包含技术干货，也传递深刻观点，经常引发圈内人士的热议。OpenAI的前同事们纷纷送上祝福——Jason Wei感谢她在o1-preview项目上的贡献，Noam Brown祝愿她下一段旅程顺利，而前OpenAI开发者关系团队成员Logan Kilpatrick则感谢她为安全使命所做的一切努力。

实际上，这次离职或许并非突发事件。几天前，维基媒体基金会机器学习总监的一条推文，就已经暗示了可能的变化。

离职信全文：我有时间写博客了

亲爱的朋友们，我做出了一个极其艰难的决定——离开OpenAI。11月15日将是我在办公室的最后一天。

OpenAI是我作为科学家和领导者成长的地方。我将永远珍视与每一位共事过的同事在一起的时光。OpenAI团队一直是我的知己、良师益友，也是我个人身份的重要组成部分。

我依然清晰地记得2017年，我是多么着迷于OpenAI的使命。那时，我们这群人梦想着一个看似不可能、宛如科幻的未来。

最初，我在这里研究的是全栈机器人挑战——从深度强化学习算法，到感知，再到固件——目标是教会单只机械手如何解开魔方。整个团队花了整整两年时间，但我们最终成功了。

当OpenAI进入GPT范式，我们开始探索如何将最佳AI模型部署到现实世界时，我建立了第一个「应用研究团队」。这个团队推出了微调API、嵌入API和审核端点的初始版本，为应用安全工作奠定了坚实基础，也为许多早期API客户提供了创新解决方案。

在GPT-4发布后，我被赋予了一项新使命：重新思考OpenAI安全系统的愿景，并将工作集中在一个掌控完整安全堆栈的团队之下。这是我做过的最困难、最有压力，同时也是最令人兴奋的事情之一。

如今，安全系统团队拥有80多名出色的科学家、工程师、产品经理和政策专家。我们共同成为每次重大发布的基石——从GPT-4及其视觉和turbo版本，到GPT商店、语音功能和o1。

在训练这些模型既强大又负责任方面，我们树立了新的行业标准。我特别为我们最新的成就——o1-preview模型感到自豪，它是我们迄今为止最安全的模型，在保持实用性的同时，表现出对越狱攻击的卓越抵抗力。

我们取得的成功，十分令人瞩目：

我们训练模型如何处理敏感或不安全的请求，包括何时拒绝或接受，通过遵循一套明确定义的模型安全行为政策，在安全性和实用性之间取得了良好平衡。

我们在每次模型发布中都提高了对抗性鲁棒性，包括防御越狱、指令层级，并通过推理能力大大增强了模型的鲁棒性。

我们设计了严格而创新的评估方法，与准备框架保持一致，并为每个前沿模型进行了全面的安全测试和红队测试。我们对透明度的承诺体现在详细的模型系统卡中。

我们开发了业界领先的具有多模态能力的审核模型，并免费与公众分享。我们目前在更通用的监控框架和增强的安全推理能力方面的工作，将为更多安全工作流程提供支持。

我们为安全数据日志记录、指标、仪表板、主动学习管道、分类器部署、推理时过滤和新型快速响应系统奠定了工程基础。

回顾我们取得的成就，我为安全系统团队的每个成员感到无比自豪，我坚信团队将继续蓬勃发展。我由衷地感谢你们，你们是最棒的！

现在，在OpenAI工作了七年之后，我感觉是时候重新出发，探索新的领域了。OpenAI正处于火箭般的轨道上，我衷心祝愿这里的每个人一切顺利。

PS：我的博客仍然活跃，并将继续更新。我可能很快就有更多时间来更频繁地更新博客，或许还能抽出更多时间来编码。

OpenAI再失一位首席安全研究员

近几个月来，OpenAI俨然成为AI界的「黄埔军校」。首席技术官Mira Murati、首席研究官Bob McGrew、研究副总裁Barret Zoph、著名研究员Andrej Karpathy和联合创始人John Schulman纷纷离职。其中一些人，包括Leike和Schulman，离职后直接加入了竞争对手Anthropic，而其他人则创办了自己的企业。

随着Ilya Sutskever和Jan Leike的离开，以及超级对齐团队的解散，安全团队在公司内部的地位似乎正在悄然发生变化。

现在，尽管AI安全团队规模仍然可观（据称有超过80名相关研究人员），但外界对OpenAI是否还会专心投入模型安全，已经普遍持怀疑态度。

10月，资深政策研究员Miles Brundage离开OpenAI，并宣布公司正在解散他曾担任顾问的通用人工智能准备团队。同一天，前OpenAI研究员Suchir Balaji也公开表示，他离开是因为认为该公司的技术对社会带来的危害大于益处。

目前，OpenAI的高管团队正在进行交接，以接替Weng的职位。其发言人表示：“我们相信安全系统团队将继续在确保系统安全可靠方面发挥关键作用，为全球数亿用户提供服务。”

Lilian Weng：北大本科，高被引学者

Lilian Weng曾是OpenAI安全系统负责人，主要从事机器学习、深度学习等研究。

Weng本科毕业于北京大学信息系统与计算机科学专业，曾前往香港大学进行短期交流，之后在印第安纳大学布鲁明顿分校获得博士学位。

博士期间，Weng的研究领域为复杂系统和网络，重点关注社交媒体、社交游戏、人机交互和复杂信息网络建模。打开她的谷歌学术档案，可以看到她曾经发表的关于模因和社交网络的论文。

在职业生涯早期，她曾在eBay、Mozilla等公司做过用户分析方面的实习，之后成功“转行”，进入Facebook和Dropbox从事软件工程和数据科学方面的工作。2018年起，Weng加入OpenAI担任研究科学家，作为机器人团队的技术主管，专注于训练机器人任务的算法。2021年，她开始领导应用人工智能的研究团队，并在2023年成为安全团队的负责人。

今年8月，OpenAI将之前的安全团队负责人Aleksander Madry调任至一个专注于推理基础工作的团队。原由Madry领导的安全团队，转由Lilian Weng负责。随后，Weng开始同时管理专注于长期和短期AI安全的团队。这一组织决策令一些研究人员感到担忧，因为长期和短期安全的激励措施可能会相互冲突。

值得一提的是，Weng在个人网站上撰写的博客文章非常受欢迎。这些万字长文，既有技术干货又有观点输出，是很多业内人士的参考读物。接下来，不妨期待这位北大校友的更多成就，以及她即将带来的干货博文。