840亿AI实验室创新突破：大模型安全管控新方案
OpenAI前首席技术官Mira Murati创办的Thinking Machines Lab再出新成果！
继《征服LLM推理中的非确定性难题》之后，团队发布第二篇重磅论文——《模块流形研究》。
免费影视、动漫、音乐、游戏、小说资源长期稳定更新！ 👉 点此立即查看 👈
完整研究博客：https://thinkingmachines.ai/blog/modular-manifolds/
训练大型神经网络如同"走钢丝"，研究人员需要精细调控其内部参数状态，既要防止权重、激活值或梯度这些关键张量数值溢出，又要避免梯度消失的问题。
核心突破点是建立统一的量级管理系统。
基础控制手段方面：
- Layer Norm技术负责将每层输出调整到合理范围
- 梯度归一化处理如Muon优化器的谱归一化控制更新幅度
进阶方案涉及直接管控权重张量本身。
研究提出通过对权重矩阵进行归一化，将参数约束在特定子流形上的创新思路，实现了优化算法与流形约束的协同设计。
这使训练过程转变为"预防式"管控：
- 初始参数即处于最佳区间
- 训练稳定性显著提升
- 模型可解释性增强
- 整体训练效率优化
流形优化器的核心原理
从数学角度看，流形可以被视为局部呈现平坦特性的曲面。
当放大观察时，其局部几何形态与欧几里得空间无异。
流形上某点附近的平坦区域被称为"切空间"。
图1展示了三维球面及其切平面的数学表示。
为确保权重始终保持在指定流形内，研究者采用了以下方法：
- 使用常规优化器进行参数更新
- 通过投影操作将调整后的权重映射回流形
但该方法存在步长效率损失问题：大幅偏离后的强制投影会导致实际参数更新与学习率设定产生偏差。
要设计真正有效的流形训练算法，必须明确切空间的度量标准。研究人员开创性地直接在切空间实施优化，使学习率与参数实际位移精确对应。
图2展示了不同距离度量方式对优化方向的影响。
图3中粉色箭头表示原始梯度方向，值得注意的是最优更新方向未必与之完全重合。
数学推导过程将约束优化问题转化为：
引入拉格朗日乘数法求解：
最终得到的关键方程为：
完整算法流程如图4所示：
流形Muon优化器
针对Transformer架构，研究人员特别设计了流形约束方案：
- 权重矩阵W需满足奇异值全部为1
- 采用Stiefel流形数学框架
- 引入谱范数约束最大拉伸效应
通过凸优化问题求解：
采用对偶上升法计算：
推导得梯度表达式：
实验结果验证如图6所示：
模块流形理论
该理论创新性地解决了多层网络的协同优化难题：
- 建立层间学习率分配机制
- 通过Lipschitz敏感性分析实现精确控制
- 保持网络输出的稳定性边界
热门专题
热门推荐
豆包上线视频通话功能：支持实时视频问答 最近，豆包官方放出了一个大消息：App正式上线了实时视频通话功能。这可不是简单的功能叠加，它实实在在地将用户交互体验，带进了一个全新的维度。 那么，这个新功能具体能做什么？简单来说，当你在豆包的电话界面开启视频画面，你面前的就不再是一个冷冰冰的聊天窗口了。豆包
苹果的AI新棋局：向开发者敞开设备端智能的大门 科技圈最近有个消息传得挺热：苹果正计划在2025年的全球开发者大会（WWDC）上，向第三方开发者开放其设备端AI模型。这步棋的目的很明确，就是要激发一波应用创新，并扩展其智能生态的边界。具体来说，苹果正在开发一个软件开发工具包（SDK），这个工具包将允
OpenAI联合创始人：AI智能体十年内难堪大用，“智能体之年”言过其实 最近，OpenAI的联合创始人安德烈·卡帕西（Andrej Karpathy）给出了一个颇为清醒的判断。他公开表示，我们今天谈论的AI智能体，距离真正意义上的“功能完善”，还有很长一段路要走。 话说回来，他的观点非常直接：眼下
《王者荣耀世界》：付费机制革新，从“数值碾压”到“个性表达” 随着《王者荣耀世界》正式上线，其独特的付费设计理念引发了广泛关注。一个明确的趋势是，这款游戏并未延续传统网游依赖数值付费的陈旧模式。其核心设计逻辑，旨在构建一个以深度叙事与自由探索为核心的开放世界。在此框架下，付费机制的角色发生了本质性转
Windows 10 安装 Redis 的六种方法详解 在 Windows 10 操作系统上安装 Redis 数据库，许多开发者会遇到官方不再提供原生 Windows 版本支持的难题。常见问题包括命令无法识别、Windows 服务注册失败或配置文件加载错误。这些问题通常源于版本兼容性、系统环境变量配