AMD联手IBM打造ZAYA1大模型：首个纯硬件AI训练成果
AMD近日携手IBM与人工智能新锐企业Zyphra共同宣布一项重要突破——成功基于AMD硬件生态系统训练出全球首个大型混合专家（MoE）基础模型ZAYA1。该模型从架构设计到完整训练流程均深度适配AMD技术体系，标志着AMD在AI算力领域迈出了关键一步。
免费影视、动漫、音乐、游戏、小说资源长期稳定更新！ 👉 点此立即查看 👈
为支撑这一超大规模模型的训练任务，三方联合搭建了专用计算集群。该集群由128个计算节点组成，每个节点搭载8块AMD Instinct MI300X GPU，通过Infinity Fabric高速互联技术实现1024块GPU的协同运算。集群峰值算力突破750 PFLOPs（每秒75亿亿次浮点运算），配合Pensando网络架构与ROCm软件平台，形成了从硬件到算法的全栈优化体系。Zyphra特别针对AMD平台开发了定制化训练框架，确保集群在长达数月的训练过程中保持99.9%以上的稳定运行。
ZAYA1的预训练数据规模达14万亿tokens，采用渐进式课程学习策略：初期使用非结构化网络文本构建基础能力，中期引入数学公式、代码库等结构化数据强化逻辑推理，后期通过科学文献提升专业领域理解。这种分阶段训练方式使模型在保持通用性的同时，在数学、编程等垂直领域形成差异化优势。基准测试显示，其综合性能已比肩行业标杆Qwen3系列，在未经指令微调的情况下，推理版本在STEM复杂任务上的表现接近Qwen3专业版，显著优于SmolLM3、Phi4等开源模型。
模型架构层面的两项创新是其性能突破的核心。研发团队提出的CCA注意力机制（Compressive Convolutional Attention），通过在传统注意力模块中嵌入卷积操作，将计算复杂度降低40%，显存占用减少35%。针对MoE模型普遍存在的专家负载不均衡问题，团队重新设计了路由分配算法，使专家模块的专业化程度提升60%，模型整体表达能力获得质的飞跃。这些改进有效解决了Transformer架构在长序列处理中的计算瓶颈问题。
目前公布的ZAYA1为基础模型预览版，Zyphra团队正在进行后训练优化，计划未来三个月内发布完整版本。该版本将增加多模态处理能力，并开放更详细的训练日志与性能分析报告。此次合作不仅验证了AMD硬件在AI大模型训练中的可行性，更为异构计算生态提供了新的技术范式，预计将推动AI基础设施向更高效、更专业的方向发展。
热门专题
热门推荐
加密货币行业翘首以盼的监管里程碑，终于有了实质性进展。美国证券交易委员会（SEC）主席保罗·阿特金斯（Paul Atkins）近日证实，那份允许加密项目在早期获得注册豁免权的“安全港”框架提案，已经正式送抵白宫，进入了最终审查阶段。 在范德堡大学与区块链协会联合举办的数字资产峰会上，阿特金斯透露了这
微策略Strategy报告：第一季录得144 6亿美元浮亏 再斥资约3 3亿美元买进4871枚比特币 市场震荡的威力有多大？看看Strategy的最新季报就明白了。根据其最新向美国证管会(SEC)提交的8-K报告，受市场剧烈波动影响，这家公司所持的比特币在第一季度录得了一笔惊人的数字——144 6亿
稳定币巨头Tether的动向，向来是加密世界的风向标。这不，它向Web3基础设施的版图扩张，又迈出了关键一步。公司执行长Paolo Ardoino在社交平台X上透露，其工程团队正在全力“烹制”一个新项目——去中心化搜索引擎 “Hypersearch”。这个消息一出，立刻引发了行业的广泛猜想。 采用D
基地位于Coinbase旗下以太坊Layer2网络Base的Seamless Protocol，日前正式宣告了服务的终结。这个曾经吸引了超过20万用户的原生DeFi借贷协议，在运营不到三年后，终究没能跑赢时间。它主打的核心产品是Integrated Leverage Markets（ILMs）——一
PAAL代币揭秘：深度解析Web3社区治理的核心钥匙 在去中心化自治组织的浪潮中，谁真正掌握了项目的话语权？PAAL代币提供了一套系统化的答案。它不仅是生态内流转的价值媒介，更是开启链上治理大门的核心凭证。通过持有并质押PAAL代币，用户能够对协议升级、资金分配乃至战略方向等关键事务投出决定性的一票