新国大与Sea AI Lab研究：LLM微调崩溃，BF16成隐形杀手？
强化学习微调作为提升大型语言模型高级能力的关键技术，在实际应用中却面临着训练不稳定、性能提升困难等诸多挑战。传统观点认为这些问题源于复杂的算法设计缺陷，然而最新研究指出，数值精度才是导致这些问题的关键因素。
免费影视、动漫、音乐、游戏、小说资源长期稳定更新！ 👉 点此立即查看 👈
当前，BF16格式因其在预训练阶段的稳定表现，已成为业界广泛采用的标准配置。但在强化学习微调的精细调整过程中，BF16的低精度特性反而成为阻碍。研究发现，BF16在训练和推理过程中引发的“训练-推理不匹配”现象，是导致训练任务失败和模型崩溃的主要原因。这一现象表现为训练引擎和推理引擎在计算结果上的微小数值偏差，这些偏差在长序列生成任务中不断累积，最终导致模型性能显著下滑。
为解决这一问题，研究团队将目光投向了另一种16位浮点格式——FP16。与BF16不同，FP16在尾数部分分配了更多位数，使其能够更精确地表示数值，从而减少舍入误差。尽管FP16的动态范围较小，但在强化学习微调阶段，模型的权重和激活值范围已相对稳定，不再需要BF16那样大的动态范围。因此，FP16的高精度特性成为解决训练不稳定问题的关键突破口。
研究团队通过一系列实验验证了FP16的有效性。他们构建了一个“完美可解”的数据集，以排除数据集难度分布对实验结果的干扰。在这个数据集上，基于FP16的算法展现出了极高的训练稳定性，不仅从未崩溃，而且收敛速度飞快，最终性能全面超越了基于BF16的算法。实验还发现，所有最终崩溃的BF16算法在崩溃前都表现出训练策略和推理策略之间差异持续增大的特征，这表明差异程度可作为训练健康状态的监测指标。
进一步的研究探讨了不同精度组合对训练效果的影响。结果显示，将训练和推理精度统一为FP16的组合，不仅实现了最低的训练-推理不匹配，还获得了最稳定的训练动态和最高的性能，同时保持了极高的计算效率。相比之下，其他精度组合要么训练不稳定，要么计算效率低下。
为验证FP16解决方案的普适性，研究团队在多种模型和训练范式上进行了验证。在混合专家模型中，FP16精度下的训练比BF16更加稳定，能够持续获得更高的训练奖励和验证集性能。在低秩适应微调中，基于FP16的训练从头到尾保持完全稳定，而基于BF16的训练则在大约600步后崩溃。在大型稠密模型上，FP16训练的模型奖励增长速度远快于BF16，并在验证集上取得了更高的准确率。在不同模型架构上的实验也得出一致结论：FP16能够有效提升强化学习微调的稳定性。
这些发现促使业界重新思考在大型语言模型训练流程中关于数值精度的选择。研究结果表明，将浮点数精度从BF16切换到FP16，是一种能够系统性提升强化学习微调稳定性和性能的根本性解决方案。这一发现不仅解决了当前强化学习微调领域的一个核心痛点，也为未来模型训练提供了新的思路。
热门专题
热门推荐
加密货币行业翘首以盼的监管里程碑，终于有了实质性进展。美国证券交易委员会（SEC）主席保罗·阿特金斯（Paul Atkins）近日证实，那份允许加密项目在早期获得注册豁免权的“安全港”框架提案，已经正式送抵白宫，进入了最终审查阶段。 在范德堡大学与区块链协会联合举办的数字资产峰会上，阿特金斯透露了这
微策略Strategy报告：第一季录得144 6亿美元浮亏 再斥资约3 3亿美元买进4871枚比特币 市场震荡的威力有多大？看看Strategy的最新季报就明白了。根据其最新向美国证管会(SEC)提交的8-K报告，受市场剧烈波动影响，这家公司所持的比特币在第一季度录得了一笔惊人的数字——144 6亿
稳定币巨头Tether的动向，向来是加密世界的风向标。这不，它向Web3基础设施的版图扩张，又迈出了关键一步。公司执行长Paolo Ardoino在社交平台X上透露，其工程团队正在全力“烹制”一个新项目——去中心化搜索引擎 “Hypersearch”。这个消息一出，立刻引发了行业的广泛猜想。 采用D
基地位于Coinbase旗下以太坊Layer2网络Base的Seamless Protocol，日前正式宣告了服务的终结。这个曾经吸引了超过20万用户的原生DeFi借贷协议，在运营不到三年后，终究没能跑赢时间。它主打的核心产品是Integrated Leverage Markets（ILMs）——一
PAAL代币揭秘：深度解析Web3社区治理的核心钥匙 在去中心化自治组织的浪潮中，谁真正掌握了项目的话语权？PAAL代币提供了一套系统化的答案。它不仅是生态内流转的价值媒介，更是开启链上治理大门的核心凭证。通过持有并质押PAAL代币，用户能够对协议升级、资金分配乃至战略方向等关键事务投出决定性的一票