随着生成式人工智能的迅猛崛起,多模态大模型已成为驱动产业智能化升级的关键技术。然而,模型训练与推理的高昂成本、以及跨模态数据对齐的复杂性,仍是制约其深度应用的主要瓶颈。为此,北京大学人工智能研究院助理教授杨耀东团队研发出一套全面覆盖数据模态、兼顾运算效率与智能推理能力的大模型对齐框架——Align-Anything,并依托鹏城科技创新卓越中心(以下简称"卓越中心")的算力支持,成功迁移至昇腾平台。目前,该框架已在智慧医疗、网络安全等关键领域实现规模化部署,展现出广阔的应用前景,并在人才培养方面取得显著成效。

Align-Anything以"人类反馈强化学习"(RLHF)为核心,构建了覆盖文本、图像、音频、视频乃至动作数据的全模态对齐算法,有效解决了传统二元反馈信息量有限及一致性不足的问题。基于成熟的技术架构,团队在框架中集成了专用评估工具Eval-Anything,可追踪并评估各类大参数模型在复杂任务中的真实能力,目前已完成开源;团队还基于DeepSeek-671B拓展出多模态强推理模型Align-DS-V,通过模态穿透式智能增强推动智能边界持续拓展。
在产学研协同方面,北京大学团队与昇腾的合作已从技术研发延伸至行业落地与人才培养的全链条。
在行业安全治理层面,Align-Anything深度融合智源大模型安全中心的整体治理框架,作为统一的安全对齐与风险干预基础模块。依托智源在安全评测、红蓝攻防与合规审查上的体系化能力,该框架将安全偏好建模、风险内容识别与无害化改写串联为闭环流程,部署在大模型从训练前审核、训练中约束到推理后校验的多级安全环节中。通过与通用模型、安全评测平台及在线监控系统的模块化集成,该对齐器能够自动对潜在风险回复进行识别、拦截与规范化重写,在显著提升整体安全水位、降低有害内容输出的同时,有效保持模型的通用能力与业务可用性,为智源牵头的大模型安全治理体系持续贡献底层技术力量。
基于昇腾平台的Align-Anything框架正深度赋能智慧医疗场景。该框架充分发挥昇腾软硬件平台的技术实力,构建了全模态医学知识体系。在基础设施层面,多家医院已完成昇腾服务器的机房部署,其强大的异构计算能力与高内存带宽,可支撑大规模参数模型的高效并行训练,同步自研大模型推理一体机,支持科室本地化部署,快速调度算力;在算法层面,Align-Anything支持图文、文表、图结构等多模态交互,赋能覆盖临床指征、心电图、超声心动图等全模态数据的高效训练。
在人才培养层面,团队联合昇腾在北京大学推出《大语言模型基础与对齐技术》课程,并开展基于昇腾+Torch NPU的实操体验,同时开发兼容昇腾系列计算设备的课程作业代码,在课程作业中让学生在自主创新的GPU架构上进行模型的训练和微调。
基于昇腾平台的Align-Anything框架的发布与广泛落地应用,标志着北大团队与卓越中心协同攻关取得重要阶段性成果。自合作以来,卓越中心在算力和技术等方面为团队提供了全方位支持,是项目成功的重要保障。该成果不仅为学术界提供了可复用的基础工具,还通过昇腾算力实现了高性能与高效率的统一。未来,双方将继续深化全模态对齐探索,携手推进大模型技术体系建设。
