先说几个核心判断：百度文心4.5的技术报告信息量极大，这次确实拿出了实打实的干货。特别是异构混合专家架构，堪称多模态能力突破的关键。下面我们逐一拆解，看看它究竟新在哪里。

核心亮点可以概括为三条：异构混合专家架构实现了跨模态知识融合；自适应分辨率视觉编码器突破了传统ViT模型对固定分辨率的限制；同时，一套精密的多阶段预训练策略确保了模型在各项性能上稳扎稳打。

不知道还有多少人记得去年李彦宏是如何评价开源大模型的？

大模型领域的变化就是如此迅速。不到半年，百度文心团队就在官方账号宣布，6月30日开源文心（ERNIE）4.5^[1]系列。虽然在国内大模型竞争中，百度此前给人一种“总是慢半拍”的印象，但好在这次没有食言。今天准时上线了4.5版本，并在稍晚同步开源了开发工具和技术报告^[2]。我们也第一时间推送了ERNIE 4.5上线的新闻，现在就来和大家一起深度解析这份技术报告。

异构混合专家（Heterogeneous MoE）架构

本次开源的ERNIE 4.5模型家族，规模从0.3B一直覆盖到424B，包含基础模型和视觉多模态模型（VLM）。除了最小的0.3B模型，其他均采用了MoE架构。

关键在于，这次采用的并非传统单模态MoE，而是创新的异构混合专家（Heterogeneous MoE）架构。其核心思路是跨模态参数共享与专用专家相结合，在文本与视觉模态之间搭建起一座灵活的知识融合桥梁。这种设计的好处在于，模型在处理多模态任务时，既能通过共享专家实现跨领域知识迁移，又能利用专用专家对特定模态进行深度优化。简单来说，就是多模态理解能力得到提升，同时文本相关任务的表现也顺带被强化了。

从技术实现层面看，ERNIE 4.5的异构MoE架构包含了文本专家、视觉专家和共享专家三类FFN专家。文本和视觉的tokens分别由各自的专用专家处理，同时通过共享专家完成跨模态信息整合。这种精细化设计，不仅解决了传统多模态模型中常见的模态干扰问题，还通过将视觉专家的参数规模控制在文本专家的三分之一左右，显著提升了计算效率。实验数据也证实，这种架构让ERNIE 4.5在多模态任务中实现了性能与效率的双重突破。

视觉处理模块方面，ERNIE 4.5引入了自适应分辨率视觉编码器，该设计突破了传统ViT模型对固定分辨率输入的依赖。它通过2D旋转位置嵌入（RoPE）技术，能够高效处理任意尺寸的图像输入，同时保留原始图像的宽高比，避免因固定尺寸调整导致的信息失真。对于视频数据，模型采用动态帧分辨率采样策略，根据视频时长和可用序列长度自动调整帧数量和空间分辨率，再结合时间戳渲染技术，实现了对视频内容的精准时序理解。

多阶段预训练（Pre-Training）策略

百度AI团队设计了一套精密的多阶段训练策略，旨在确保ERNIE模型在不同任务场景中都能发挥出色。整个过程分为三个主要阶段，每个阶段的目标和方法都十分明确。

第一阶段：文本专精训练

训练的起点，ERNIE 4.5首先专注于文本数据。通过大规模文本语料，模型学习语言的基本语义和结构，为后续的多模态任务打下坚实基础。这一阶段可以看作是模型的“语言启蒙期”，目标就是让它掌握扎实的语言建模能力。

第二阶段：联合训练的过渡

进入第二阶段，模型开始接触多模态数据，但文本仍占据主导地位。这个阶段的作用是让模型逐步适应多模态输入，同时保持其在文本任务上的优异表现。通过精心设计的训练目标，ERNIE 4.5在这一阶段实现了从单一模态到多模态的平稳过渡。

第三阶段：多模态深度融合

到了训练的最后阶段，ERNIE 4.5全面迎接多模态挑战，学习如何处理文本和视觉输入的组合。为了解决多模态模型因输入长度变化导致的专家负载不平衡和梯度不稳定问题，预训练过程引入了新的损失函数：Router Orthogonalization Loss和Token-Balanced Loss，用以优化模型在多模态任务中的稳定性和准确性。此外，团队还采用了Exponential Moving Average（EMA）技术，通过平滑参数更新，进一步提升模型的泛化能力。

后训练（Post-Training）

ERNIE 4.5团队为后训练构建了一套精细的工作流，通过分模态优化策略与动态奖励系统，实现了从基础预训练到任务适配的平滑过渡。预训练阶段完成后，模型通过REEAD（Record Everything Everywhere All at Once）数据管理器实现了位级确定性的数据处理，确保训练过程可复现且无冗余，这为后训练的稳定性打下了基础。

LLM后训练：分层强化语言理解与推理能力

针对纯语言模型（LLM）的后训练，ERNIE 4.5采用的是“监督微调 - 奖励建模 - 强化学习”的三级优化链路。在监督微调（SFT）阶段，模型基于230万条多领域标注数据进行训练，数据覆盖科学数学、代码生成、逻辑推理等十大领域，并且特别将推理任务分为“思考型”与“非思考型”两类——前者要求模型生成链式思维（CoT）过程，后者更侧重结果准确性。这种分类训练使模型在BBH逻辑推理基准中取得了77.5%的准确率，较基线提升了4.8%。

在奖励模型构建上，ERNIE 4.5创新性地设计了“统一奖励系统（Unified Rewarding System）”，融合了规则验证与LLM评判双重机制。对于数学推理这类精确任务，采用RLLM（参考引导的LLM评判）与Sandbox代码执行环境进行结果验证；而对于创意写作等开放任务，则通过GRM（生成式奖励模型）与DRM（判别式奖励模型）结合的方式，从内容连贯性与语义相关性双重维度打分。这种混合奖励机制使模型在MATH数学问题求解中达到了69.1分，超越了Qwen3等模型5.3分。

强化学习阶段引入了“渐进式强化学习（Progressive Reinforcement Learning）”策略，分逻辑推理、数学编程、通用任务三阶段逐步扩展能力边界。其中Unified Preference Optimization（UPO）算法将DPO（直接偏好优化）损失融入PPO框架，通过在线拒绝采样生成偏好对，有效避免了奖励博弈问题。在HumanEval+代码生成基准中，该策略使模型通过率提升至84.8%，较传统RL方法提升了3.2%。

VLM后训练

视觉—语言模型（VLM）的后训练，聚焦于视觉感知与语义推理的协同增强。ERNIE 4.5采用了“感知数据合成 - 思考模式融合 - 验证性RL”的训练范式：首先通过程序生成几何图形、数学函数等合成数据，解决自然图像中视觉-文本对齐数据稀缺的问题，这类数据使模型在CountBench计数任务中准确率提升至89.0%。

在思考模式训练中，模型通过“文本推理冷启动 - 多模态拒绝采样 - 双模式融合”三阶段实现了能力跃升。第一阶段利用纯文本推理数据（如GSM8K数学题）构建逻辑基础，即使未接触视觉输入，模型也能生成“让我再看一下图像”这类反思性语句；第二阶段通过RLVR（可验证奖励强化学习）在视觉STEM任务中引入OCRBench文档解析、MathVista公式理解等场景，使模型在TableVQA表格问答中达到了86.7%的准确率。最终，通过专家合并技术，将思考模式与非思考模式的专家参数融合，在保持视觉感知能力的同时，使多模态推理任务性能提升了12.3%。

百度ERNIE团队还在技术报告中详细介绍了其训练框架和并行策略，干货很多，值得阅读原文深入学习。

性能验证

ERNIE 4.5的纸面数据看起来相当能打。在语言理解、知识问答、逻辑推理等多个领域的测试集中，均实现了对现有模型的超越。

在语言理解任务中，ERNIE-4.5-300B-A47B模型在C-Eval基准测试中取得了91.5分的优异成绩，在CMMLU中文多任务理解测试中得分更是高达91.2分。这两项成绩均领先于Qwen3、DeepSeek-V3等同类模型。

在数学推理任务中，模型在GSM8K数学问题求解中达到91.8分，在MATH高等数学问题测试中得分69.1分，展现出相当不错的数学逻辑推理能力。

多模态任务的测试结果同样靠前。ERNIE-4.5-VL-424B-A47B模型在OCRBench文档解析任务中获得872分，在TableVQA表格理解任务中得分86.7分，在MathVista数学视觉推理任务中更是达到78.9分的高分，超越了OpenAI-o1、Qwen2.5-VL等知名模型，在多个维度上也刷新了多模态模型的性能上限。

值得注意的是，ERNIE 4.5在保持高性能的同时，还实现了模型效率的优化。其轻量化版本ERNIE-4.5-21B-A3B模型，在参数规模比Qwen3-30B-A3B小30%的情况下，在多个数学和推理基准测试中实现了性能反超，展现出卓越的参数效率。这种高效的模型设计，使得ERNIE 4.5成为了国内开源大模型端侧部署的有力竞争者。

全链路工具链助力开发者创新

不知是否因为准备时间比较充分（毕竟开源得晚了些），百度ERNIE团队这次开源可以说开得非常彻底。在发布ERNIE 4.5模型的同时，还开源了完整的开发工具链，包括ERNIEKit^[3]训练工具和FastDeploy^[4]推理部署工具，目标是降低开发者使用大模型的门槛，推动多模态AI技术的广泛应用。

ERNIEKit是一个工业级的开发工具包，提供了从预训练、监督微调、低秩适应（LoRA）到量化感知训练（QAT）和后训练量化（PTQ）的全流程支持。其创新的FP8-QAT解决方案，能够在大幅降低微调资源需求的同时，保持模型性能与BF16微调相当，将最大模型的GPU需求从96块减少到16块，显著降低了大模型开发的算力成本。

FastDeploy推理部署工具则专注于模型的高效落地，支持W8A8、W4A8、W2A16等多种量化精度，甚至提供2位权重量化模型，使得ERNIE 4.5最大模型能够在单块141GB H20 GPU上运行。该工具还支持Prefill-Decode分离部署和多级负载均衡策略，在H800节点上实现了56k输入TPS和18k输出TPS的高性能推理，为大规模应用提供了坚实的技术支撑。

此次ERNIE 4.5家族开源的所有模型，均基于Apache 2.0许可证开源。这意味着开发者可以自由地使用、修改和分发这些模型。