香港科大提出渐进式学习新方法提升深度神经网络训练稳定性
人工智能训练常被视为充满复杂数学与庞大算力的领域，但其底层的一些核心挑战，其本质往往与人类学习的基本规律相通。一项由香港科技大学、萨里大学、香港大学及英伟达合作的研究，在2026年3月发布的预印本论文（arXiv:2603.05369v1）中，揭示了一个朴素而深刻的原理：让AI模型模仿人类“循序渐进”的学习方式，能显著提升其训练稳定性与最终性能。
免费影视、动漫、音乐、游戏、小说资源长期稳定更新！ 👉 点此立即查看 👈
掌握任何复杂技能，无论是学习乐器还是精通运动，都遵循从分解动作到逐步整合的路径。若一开始就挑战高难度内容，结果往往是挫折与混乱。现代深度神经网络的结构如同高楼，由层层堆叠的处理单元构成。传统训练方法让所有网络层同时全力学习，看似高效，实则埋下了不稳定的隐患——底层基础尚未稳固，上层便开始复杂构建，整个学习过程易陷入混乱甚至崩溃，即业界常说的“训练不稳定性”。
研究团队提出的“渐进式残差预热”（Progressive Residual Warmup, ProRes）方法，其核心思想直观而巧妙：为何不让网络的每一层，依照从基础到复杂的自然顺序，依次加入学习过程呢？
一、传统深度神经网络训练面临的核心困境
要理解ProRes的价值，需先审视主流训练方法的局限。当前大多数先进模型，如各类大语言模型，都基于Transformer架构。可以将其想象为一个多层的精密信息处理流水线。
问题在于，传统训练让这条流水线上的所有“工位”从第一秒起就全速运转。这好比让新手与专家同时处理最核心的难题，协同混乱难以避免。更关键的是，由于所有层都在同步调整自身参数，底层输出的任何微小波动都会被上层逐级放大，形成恶性循环。当网络深度极大时，这种不稳定性会指数级加剧，导致训练过程难以收敛，甚至突然失效，严重影响模型开发效率。
二、“渐进式残差预热”：模拟人类学习顺序的AI训练策略
ProRes的解决方案优雅而高效。它为网络的每一层引入了一个随时间平滑变化的“贡献权重”，作用如同一个可控的音量旋钮。训练开始时，只有最底层的旋钮完全开启，负责接收和处理原始输入数据；其上各层的权重则处于接近零的状态。
随着训练推进，这些权重按照从底到顶的顺序，被缓慢而平滑地调高。第二层开始逐渐参与计算，待其输出相对稳定后，第三层才被激活，依此类推。这确保了每一层都是在接收到前一层已趋于稳定的“特征表示”之后，才开始自己的学习任务。整个过程，类似于先打好坚实的地基，再逐层向上建造稳固的房屋。
三、支撑创新方法的三大核心设计原理
这一设计之所以有效，背后有三条相互支撑的逻辑支柱。
首先是“恒等初始化”原则。 在训练初期，让上层网络近乎“透明”，信息几乎无损地通过。这为整个系统提供了一个稳定、可预测的起点，避免了从混乱初始化状态开始学习的窘境。
其次是“有界模型更新”。 通过有序控制各层的激活节奏，实质上约束了每次参数更新的幅度。这防止了训练初期因调整过于剧烈而导致的“梯度爆炸”或“损失尖峰”，让学习步伐始终稳健可控。
最后是“遵循依赖次序”。 深层网络天然存在层级功能依赖：浅层提取基础特征，深层组合复杂模式。ProRes强制学习过程遵循这一依赖关系，使得每一层都能在稳固的前置基础上构建功能，有效打破了传统方法中层间相互干扰、耦合学习的恶性循环。
四、大规模实验验证：性能与稳定性的双重提升
理论需要数据支撑。研究团队在从1.3亿到70亿参数的不同规模模型上，使用了高达5000亿token的数据进行广泛验证。结果令人信服：
在所有测试架构上，ProRes都带来了模型性能的稳定提升。尤其在原本 notoriously difficult to train（ notoriously difficult to train）的Post-LN架构上，改进最为显著。更重要的是，它几乎完全消除了训练过程中常见的“损失值剧烈波动”和“梯度异常”现象，使得训练曲线变得异常平滑。当网络深度从12层激增至120层时，传统方法的性能增益已近停滞，而采用ProRes的模型仍能从深度增加中持续获益，证明了其在训练超深神经网络方面的独特价值。
五、不同预热策略的细致对比与最优方案
研究并未止步于提出方法，还深入探索了何种“层激活时间表”最为有效。他们对比了线性、平方、平方根等多种预热节奏。
实验表明，简单的线性预热（即各层按深度比例依次线性激活）效果最好且最稳定。一个反面的对照实验极具说服力：当尝试让深层先激活、浅层后激活的“逆序”策略时，训练彻底失败。这强有力地证实了“从基础到复杂”这一学习顺序的不可逆性。同时激活所有层但缓慢调大权重的“全局预热”策略虽有改善，但效果远不及顺序激活，这说明“时机”和“顺序”在稳定训练中同等关键。
六、深入分析：训练动态的内在变化过程
为了透视ProRes生效的内在机制，研究者深入模型内部进行了动态分析。他们发现，传统训练中，信号在层间传递时会像滚雪球一样被异常放大（激活值爆炸），导致深层输入失控。而ProRes通过有序激活，将这种增长控制在线性、温和的范围内。
此外，通过分析各层输出特征的演化过程，他们观察到在ProRes训练下，网络表示的变化平滑而有序：浅层特征率先稳定下来，随后深层特征逐步定型。这种井然有序、层层递进的学习动态，是模型最终获得更高性能与更强泛化能力的根本原因。
七、广泛适用性验证：跨架构、跨任务的稳健表现
一项技术的实用性，很大程度上取决于其普适性。ProRes在这方面表现突出：
无论是在当前主流的Pre-LN架构，还是较老的Post-LN架构，或是DeepNorm等为深度网络设计的专用架构上，它均能带来一致的性能提升。同时，它对不同的参数初始化方法不敏感，在不同的训练数据集（如C4、ClimbMix）上也表现出稳定的改进效果。这意味着工程师和研究者可以轻松地将其集成到现有训练流程中，而无需担心兼容性问题。
下游任务评估进一步证实了其价值。经过ProRes训练的模型，在常识推理、阅读理解、数学问题求解等多个NLP基准测试上，都展现出了更强的泛化与推理能力。
八、对未来AI模型训练与发展的深远意义
这项工作的意义，远超一个高效的训练技巧。它提示我们，将“渐进式教学”思想引入AI训练，可能是通往更强大、更稳定人工智能的关键。未来的训练策略或许不再是静态和一刀切的，而应是动态、阶段感知的，能够根据模型学习的“成熟度”自适应调整教学计划。
从工程实践角度看，ProRes以极低的实现成本（通常仅需添加数行代码）解决了大规模模型训练中的一个核心痛点——稳定性问题。这为构建更深、更强大的AI模型扫清了一个重要障碍。其“有序协调”的核心思想，甚至可能启发分布式学习、多智能体系统等其他需要协调多个并行学习单元的领域。
归根结底，这项研究展示了一个深刻的道理：最优雅高效的解决方案，往往源于对问题本质的清晰洞察，而非复杂技术的简单堆砌。让AI模仿人类“循序渐进”的学习智慧，或许正是我们解锁其更大潜力、实现更稳定训练过程的那把关键钥匙。
Q&A
Q1：什么是渐进式残差预热（ProRes）方法？
A：ProRes是一种创新的深度神经网络训练技术，它通过让网络各层按从浅到深的顺序依次参与训练，模拟了人类“先打基础，再建上层”的自然学习过程。该方法通过动态调整各层对最终输出的贡献权重，确保网络学习过程平稳、有序，从而提升训练稳定性。
Q2：ProRes方法能解决AI训练中的哪些关键问题？
A：它主要解决深层神经网络（尤其是超深模型）训练中常见的不稳定、易崩溃或收敛缓慢的问题。它能有效防止梯度异常、激活值爆炸等难题，使深度模型的训练更加鲁棒和高效，降低训练失败风险。
Q3：这个方法在实际应用中有哪些突出优势？
A：其核心优势在于简单有效、通用性强且易于集成。实现简单，却能显著提升多种主流架构模型的训练成功率和最终性能。这直接降低了训练大型AI模型的技术风险与计算成本，有助于推动更强大、更可靠的AI系统开发与落地。
相关攻略
开源权重AI模型的蓬勃发展，为技术社区注入了强大创新动力，但同时也带来了全新的安全与治理挑战。传统的模型评估体系主要针对闭源“黑盒”模型设计，当面对权重完全透明、可自由访问与修改的开源模型时，其局限性便暴露无遗。这好比用室内实验室的标准去评估野外复杂环境，显然难以全面识别和度量其特有的风险谱系。 Q
2024年12月，一项由香港大学与Adobe公司合作的研究在arXiv预印本平台（论文编号：arXiv:2412 07774v2）上发布，为图像生成与编辑领域带来了一个颇具碘伏性的构想。这项研究试图回答一个核心问题：我们能否摆脱为每个特定任务配备专用工具的繁琐模式，转而打造一个真正“万能”的图像处理
2026年，一项由苹果公司联合谷歌DeepMind、剑桥大学及麻省理工学院等全球顶尖研究机构共同完成的重磅研究，在预印本平台arXiv上正式发布（论文编号：arXiv:2602 21472v1）。这项关于三模态人工智能模型的突破性工作，被广泛认为是AI迈向通用智能道路上的一个重要里程碑。 要深刻理解
谷歌Chrome浏览器在部分用户设备上静默安装约4GB的本地AI模型GeminiNano，用于反诈识别和信息辅助等功能。该模型仅在硬件符合要求时安装，用户可通过文件管理器或浏览器设置进行确认或关闭。此举被质疑违反欧盟数据保护条例，并将AI运算成本转移至用户设备。
在数学教育中，教师常引导学生：“将这两道基础题融合，尝试解决一个更综合的难题。”近期，腾讯HY、香港科技大学与香港大学的研究团队，正是受此经典教学智慧的启发，开发出一套名为Composition-RL的创新性方法。这项于2026年2月13日发布在arXiv（论文编号：2602 12036v1）上的研
热门专题
热门推荐
5月12日，马来西亚吉隆坡成功举办了一场具有前瞻性的行业盛会——中国-马来西亚电动汽车、电池技术与新能源人才创新发展论坛。来自两国政府部门、领军企业、顶尖高校及国际组织的代表共聚一堂，深入交流了在未来产业协同、清洁能源技术创新及高端人才培养等核心领域的合作路径与机遇。 马来西亚第一副总理兼乡村及区域
具身智能要迈过的第一道硬门槛，从来都是量产。 过去几年，全球人形机器人行业反复印证了这一点：舞台演示可以很快，工程验证可以很快，视频传播也可以很快。但当一台机器人要从实验室走向产线，再走向客户现场，问题的复杂度会呈指数级上升。 特斯拉的Optimus就是一个典型的参照系。马斯克多次表达过对Optim
向朋友问路时，如果对方清楚路线，通常会立刻回答“直走然后左转”。但如果对方并不确定，往往会先停顿一下，犹豫地说“呃……好像是……往那边？”。这个开口前的短暂迟疑，往往比最终给出的答案更能说明问题——对方是否真的知道答案。 近期，美国天普大学计算机与信息科学系的一项研究，正是捕捉到了AI回答问题时类似
这项由浙江大学、华南理工大学、南京大学和北京大学联合开展的前沿研究，于2026年4月正式发布，其论文预印本编号为arXiv:2604 24575。 图像分割技术听起来或许有些专业，但它早已深度融入我们的日常生活。无论是智能手机拍摄的背景虚化人像、AI系统在CT影像中精准勾勒病灶轮廓，还是自动驾驶汽车
“大唐”预售热潮尚未平息，“大汉”已蓄势待发，比亚迪王朝系列正以前所未有的攻势，叩响高端市场的大门。 在北京车展引发轰动的比亚迪大唐，预售订单已迅速突破10万台大关，彰显了市场对比亚迪高端产品的强烈期待。而最新信息显示，汉家族即将迎来一位重磅新成员——“大汉”，这款定位D级旗舰的轿车，目标直指20-