SambaNova 最新动态:AI 芯片 SN40L 与开源模型 BLOOMChat 详解
硅谷 AI 芯片初创公司 SambaNova 近期动作频频,先联合推出了类 ChatGPT 的开源模型 BLOOMChat,随后又发布了新一代 AI 芯片 SN40L。本文将从芯片规格、模型能力、公司背景三个维度,为你梳理这些技术亮点的全貌。
一、AI 芯片 SN40L:突破性算力与存储设计

SambaNova 成立于 2017 年,目前已累计完成 6 轮融资,总额高达 11 亿美元,投资方包括谷歌、英特尔和软银等巨头。最新推出的 AI 芯片 SN40L 是其核心产品,主要规格如下:
- 制造工艺:台积电 5nm 工艺
- 晶体管数量:每颗芯片集成 1020 亿 个晶体管
- 核心数量: 1040 个 计算核心
- 算力:高达 638 TFlops
- 模型支持:单个系统节点(8 块 SN40L 芯片)即可支持最高 5 万亿参数 的大模型
- 存储创新:引入 64GB HBM(高带宽内存)以解决“内存墙”问题,但官方尚未披露具体 HBM 型号及带宽性能
小提示: SN40L 的 5 万亿参数支持能力主要得益于其独特的存储架构。相比上一代芯片,HBM 的加入是最大差异点,但实际推理性能还取决于内存带宽和芯片互联效率,建议关注后续官方披露的详细测试数据。
常见问题
Q:SN40L 与市面上的 AI 芯片(如 NVIDIA H100)相比有什么优势?
A: 目前官方仅公布了算力和参数支持上限。从已知信息看,SN40L 单节点支持 5 万亿参数远超多数竞品(例如 H100 单卡通常支持数百亿参数级别),但实际应用场景中,参数规模越大对推理延迟和功耗的挑战也越大,具体性能需等第三方评测。
Q:64GB HBM 是否足够训练 5 万亿参数的模型?
A: 训练过程对显存需求远高于推理。单节点 8 块芯片共 512GB HBM(64GB×8),对于 5 万亿参数模型(假设使用混合精度训练,模型权重约需 10TB 以上)显然不够。因此 5 万亿参数指的是推理场景,训练仍需分布式多节点配合。SambaNova 未公布具体训练部署方案,建议结合其软件栈文档进一步了解。
二、BLOOMChat:1760 亿参数的开源类 ChatGPT 模型
在推出芯片之前,SambaNova 与 Together 联合发布了开源模型 BLOOMChat,基于 BigScience 在 2022 年 7 月开源的大语言模型 BLOOM 开发,并在以下数据集上进行了微调:
- OpenChatKit
- Dolly 2.0
- OASST1
该模型主要特性如下:
- 参数规模:1760 亿 参数
- 语言支持:覆盖中文、英文、日文、法文等 46 种语言
- 代码生成:支持 Python、Ja va、PHP、C++、Ruby 等 13 种编程语言
- 许可与商用:基于 Apache 2.0 修改版本,可用于研究和商业用例
- 持续迭代:由知名开源平台提供技术更新支持
BLOOMChat 相较于市面多数类 ChatGPT 开源模型,在 预训练数据质量、指令调优效果、功能扩展能力、AI 对齐 四个方面具有明显优势。
小提示: BLOOMChat 使用 BLOOM 作为基座模型,BLOOM 本身在 46 种语言上进行了多语言预训练,因此 BLOOMChat 在 非英语任务(如中文问答、日文文本生成)上的表现通常优于仅基于英语数据的开源模型。如果你是多语言应用开发者,这是一个值得优先考虑的选项。
常见问题
Q:BLOOMChat 与 Meta 的 LLaMA 2 相比,哪个更好?
A: 两者侧重点不同:LLaMA 2 在英文和代码任务上通过大量 RLHF 优化,但多语言支持较弱;BLOOMChat 优势在于 多语言覆盖(46 种)和代码生成(13 种语言),且基于 Apache 2.0 修改版更开放。如果您需要处理中日法德等多语言场景,BLOOMChat 更合适;如果只需要纯英文或纯代码,LLaMA 2 可能是更成熟的选择。
Q:如何使用 BLOOMChat?需要申请权限吗?
A: 无需申请。模型权重已通过 Hugging Face 等开源平台发布,您可以直接下载或通过 API 调用。注意:由于 1760 亿参数规模较大,建议使用 8-16 张 A100 80GB 或同等算力的硬件进行推理。SambaNova 的 SN40L 芯片正好可以高效运行此类大模型,形成软硬件协同优势。
三、总结
SambaNova 的 SN40L 芯片 与 BLOOMChat 模型 分别代表了其在硬件和软件层面的突破:芯片主打超大参数推理与 HBM 存储架构,模型则聚焦多语言与代码生成开源能力。两者结合为企业和开发者提供了从基础算力到上层应用的完整解决方案,值得关注后续生态建设与社区反馈。
