我国首个:类脑脉冲大模型“瞬悉 1.0”问世,在国产 GPU 算力平台完成训练推理
9 月 8 日消息,中国科学院自动化研究所今日官宣,该所李国齐、徐波团队在发表原创内生复杂性理论系列论文的工作基础上,与沐曦 MetaX 合作,打造了类脑脉冲大模型“瞬悉 1.0”(SpikingBrain-1.0),在国产千卡 GPU 算力平台上完成全流程训练和推理,实现了大模型在超长序列推理上数量级的效率和速度提升,展示了构建国产自主可控的新型非 Transformer 大模型架构生态的可行性。
研究团队开源了 SpikingBrain-1.0-7B 模型并开放 SpikingBrain-1.0-76B 测试网址,同步公开了经工业界大规模验证的类脑脉冲大模型 SpikingBrain-1.0 中英文技术报告。
当前,基于 Transformer 架构的大模型在 Scaling law 驱动下,通过增加网络规模、算力资源和数据量提升模型智能水平,但模型的基本计算单元为简单的点神经元模型,我们将此路径称为“基于外生复杂性”的通用智能实现方法。Transformer 架构的固有缺点训练时开销随序列长度呈平方级增长以及推理时显存占用也随序列长度线性增加,构成了资源消耗的主要瓶颈,导致其处理超长序列的能力受限。
研发团队借鉴大脑神经元内部复杂工作机制提出“基于内生复杂性”的大模型构架方式,打造类脑脉冲大模型“瞬悉 1.0”( SpikingBrain-1.0),在理论上建立了脉冲神经元内生动力学与线性注意力模型之间的联系,揭示了现有线性注意力机制是树突计算的特殊简化形式,从而清晰地展示了一条不断提升模型复杂度和性能的新型可行路径。
研发团队进而构建并开源了基于脉冲神经元、具有线性(SpikingBrain-1.0-7B)及混合线性复杂度(SpikingBrain-1.0-76B,激活参数量 12B)的新型类脑基础模型,开发了面向国产 GPU(沐曦 MetaX 曦云 C550)集群高效训练和推理框架、Triton 算子库、模型并行策略以及集群通信原语。
SpikingBrain-1.0 在多个核心性能上实现突破:
第一,极低数据量上的高效训练:训练阶段具有线性或近线性复杂度,显著提升长序列训练效率,并能依托高效转换训练范式,以约为主流大模型 2% 的预训练数据量实现与众多开源 Transformer 模型在多任务语言理解(MMLU), 中文多任务语言理解(CMMLU、Ceval), 常识推理能力(ARC、HS)任务上相媲美的性能。
第二,推理效率的数量级提升:推理阶段结合脉冲神经元事件驱动特性,SpikingBrain 具有常数或部分层常数级别的复杂度和存储开销,SpikingBrain-7B 模型在 100 万 Token 长度下 TTFT(生成第一个 Token 所需时间)相比 Transformer 架构加速达到 26.5 倍,400 万 Token 长度下加速超过 100 倍。同时在手机 CPU 端 64k-128k-256k 长度下较 Llama3.2 的同规模模型 Decoding 速度提升 4.04x-7.52x-15.39x,在超长序列处理能力上展现出数量级的效率和速度提升。
第三,国产自主可控类脑大模型生态的构建:SpikingBrain 适配了面向国产 GPU 集群的高效训练和推理框架、Triton 算子库、模型并行策略以及集群通信原语,表明了构建国产自主可控的新型非 Transformer 大模型架构生态的可行性。
第四,基于动态阈值脉冲化的多尺度稀疏机制:设计细粒度的两阶段动态阈值脉冲化策略,结合粗粒度的混合专家模型(MoE)方案,在 7B 模型上实现了超过 69.15% 的稀疏度,长序脉冲占比约 1.85%,为低功耗的类脑大模型运行提供有力支撑。
中国科学院自动化研究所表示,这是我国首次提出大规模类脑线性基础模型架构、并首次在国产 GPU 算力集群上构建类脑脉冲大模型的训练和推理框架。提出的模型解决了脉冲驱动限制下的大规模类脑模型性能退化问题,其超长序列处理能力在法律 / 医学文档分析、复杂多智能体模拟、高能粒子物理实验、DNA 序列分析、分子动力学轨迹等超长序列任务建模场景中具有显著的潜在效率优势。本次发布的大模型为新一代人工智能发展提供了非 Transformer 架构的新技术路线,并将启迪更低功耗的下一代神经形态计算理论和芯片设计。
附 SpikingBrain-1.0-7B 开源地址:
https://github.com/BICLab/SpikingBrain-7B
试用 :
https://controller-fold-injuries-thick.trycloudflare.com
相关攻略

9 月 8 日消息,中国科学院自动化研究所今日官宣,该所李国齐、徐波团队在发表原创内生复杂性理论系列论文的工作基础上,与沐曦 MetaX 合作,打造了类脑脉冲大模型“瞬悉 1 0”(Spiking

9月8日消息,三大股指涨跌不一,创指收跌0 84%。板块方面,人形机器人概念全天强势,肇民科技、骏鼎达双双20cm涨停;医疗器械板块活跃,奥精医疗20cm涨停;化工概念午后走高,永太科技、天赐科技、
热门专题


最新APP
热门推荐

自动驾驶技术正加速走进高校课堂,助力产学研深度融合。近日,百度Apollo自动驾驶汽车陆续驶入国内多所顶尖高校,为科研教育、人才培养与产业协同注入新动能。其中,复旦大学与同济大学成为重点合作对象,双

在数字营销领域,谷歌竞价广告已成为企业精准触达目标客户的重要手段。然而,许多广告主发现,尽管投入了大量预算,广告效果却不尽如人意。问题的根源往往在于关键词布局不够科学,导致广告展示给了不相关的用户群

2025年10月,湖南交通领域迎来一则备受关注的消息:已运营三十余年的长永高速确认将于11月1日起终止收费,今后长沙与永安之间将实现免费通行,引发本地车主广泛关注。作为湖南省首条建成通车的高速公路,

OKX是一款专业的数字资产服务应用,为广大用户提供安全、便捷的数字资产管理体验。本文将为您提供OKX App 2025年的官方最新下载入口和详尽的安装步骤说明。通过点击本文中提供的官方链接,即可直接下载最新版本的应用程序,开启流畅的数字生活。

在《代号:篮球少女》中,学园羁绊是快速提升战力的关键策略。通过编入特定数量的同校球员,即可激活专属羁绊效果,为队伍带来强力加成。在实力相近的对局中,合理利用羁绊系统往往能成为决定胜