Sand.ai发布MagiAttention，定义分布式注意力性能新标杆
免费影视、动漫、音乐、游戏、小说资源长期稳定更新！ 👉 点此立即查看 👈
机器之心编辑部
2025 年 4 月，Sand.ai 开源了 MagiAttention v1.0.0，定义了下一代分布式 Attention 的全新设计和系统框架。历经一年的深耕，今天Sand.ai正式发布：MagiAttention v1.1.0，以更成熟的原生算子组件，重新定义 Hopper 与 Blackwell 两代架构分布式 Attention 的性能上限
代码仓库：https://github.com/SandAI-org/MagiAttention使用文档：https://sandai-org.github.io/MagiAttention/docs技术博客：https://sandai-org.github.io/MagiAttention/docs/main/blog/magi_attn
Blackwell 新架构适配：释放下一代算力红利
为了在下一代硬件上延续 Flex-Flash-Attention (FFA) 的灵活性，研发团队引入了基于 Flash-Attention 4 的 FFA_FA4 后端，完成了对 Blackwell 架构的初步适配：
灵活掩码支持：引入 HSTU Function 表达，在无需大幅改动 FA4 内核主体逻辑的前提下，实现了对任意掩码的无缝兼容，且性能损耗 < 5%。高效分块稀疏生成：开发了高效分块掩码生成算子，大大降低了 FlexAttention 实例化完整掩码的性能开销和显存风险。R2P 指令级加速：我们利用 Register-to-Predicate 技巧，将复杂的边界检查映射为单条硬件指令，大幅降低了指令周期。极致显存和延迟：针对超长序列，对掩码元数据进行 CSR 压缩，对内核启动进行 FFI 加速，确保显存与延迟的双重极致。
原生 Group Collective 原语：突破 RDMA 带宽瓶颈
跨机通信效率决定了分布式扩展上限，受 DeepEP 启发，Sand.ai 构建了原生 Group Collective 通信内核，彻底重塑了分布式 Attention 在节点内外的数据交换范式：
算子级融合：研发团队将数据重排直接融合进通信算子，显著降低了访存和额外拷贝开销。RDMA 传输去重：以 "NVLink 替代冗余 RDMA" 传输，实现节点间单次物理交换与节点内高效转发和规约，跨机通信量降低数倍，性能远超传统 AlltoAll-v 方案。
系统级协同优化：负载均衡与多阶段重叠
MagiAttention 的卓越性能不仅源于算子端的极致打磨，更得益于系统级的全栈协同调度和全场景通用的启发式算法：
Dispatch Solver: 基于最小堆贪心算法，实现序列的细粒度分配，保证任意掩码下设备的计算负载均衡，避免 “短板效应” 拖垮分布式整体性能。Adaptive Multi-Stage Overlap: 突破静态流水线限制，自适应调整流水线阶段，通过最小化调度开销实现极致重叠，为超长序列训练提供线性扩展保障。
实测表现与应用
目前，MagiAttention v1.1.0 已在 Magi-1 等大规模视频生成模型训练中得到实证，也在各大厂中被 “悄悄” 应用于多模态大模型训练。为了验证 MagiAttention 在真实长文训练中的表现，Sand.ai 也给出了细致的 Benchmark 结果：
算子层面：支持灵活掩码并维持 SOTA 性能
H100/B200 Varlen Causal 掩码下前反向的内核算子性能对比
分布式层面：重塑超长序列的扩展性曲线
H100/B200 Varlen Causal 掩码下前反向的分布式性能对比
结语与未来展望
自去年 v1.0 发布以来，Sand.ai 收到的社区反馈让研发团队更加坚定：只有将底层算力压榨到极限，才能开启人工智能处理复杂多模态任务的新篇章。MagiAttention v1.1.0，是 Sand.ai 向这一愿景迈进的关键一步。Sand.ai 相信，强大的模型能力必须建立在普惠且极致的技术基石之上。
了解更多信息，欢迎访问 Sand.ai 正式：https://sand.ai
相关攻略
中国人工智能基础模型行业正步入商业化加速阶段。摩根大通认为，随着模型质量持续改善并开始转化为更快的需求增长，大模型能力将决定定价权，较强与较弱公司之间的差距将日益扩大。据追风交易台，3月27日摩根大
今年3月，AI圈最热闹的话题莫过于“Token”与“龙虾”。这不是代币与餐桌上的海鲜，而是AI时代的计价单位，以及一批以Open Claw为代表的AI操作系统，它们像当年的Windows一样，试图成
AI正在走向“为了采取正确行动而思考”。编译整理｜莘歆来源 | 盒饭财经（ID：daxiongfan）头图及封面来源 | 网络及即梦制作在X（推特）上宣布离职后的22天，林俊旸发了一篇长文。3月2
文｜任倩具身数据层的全球竞赛正在迅速升温。NVIDIA Research在2026年发布EgoScale数据与训练框架，在Ego-centric人类操作视频上训练VLA模型，用 20,854小时带动
编辑 | 王凤枝谷歌新算法引发股价大跌之后，存储行业给出了明确的回应：反应过度了。事情的起因，是谷歌研究院刚刚发布了一项名为TurboQuant的新技术。这项技术的亮相，确实让原本火热的内存芯片市场
热门专题
热门推荐
猎豹浏览器免安装网页版入口是https: web lemur-browser com，具备界面简洁响应迅速、多端同步无缝衔接、安全防护层级丰富、文档处理能力突出、资源兼容性广泛覆
据昆仑万维集团消息，3月27日下午，昆仑万维（300418 SZ）旗下天工AI顺利举办“世界模型前沿技术与天工AIGC全家桶大模型生态”专场发布会，携Matrix-Game 3 0、SkyReels
本报（chinatimes net cn）记者石飞月 北京报道大模型未来会走向哪里？OpenClaw的爆火似乎为全行业指明了一个方向，但接踵而至的舆论质疑，又让这个答案变得扑朔迷离。3月27日，在2
Anthropic一款尚未发布的新AI模型因数据泄露意外曝光，引发市场对AI颠覆网络安全行业的担忧再度升温，网络安全板块股价周五盘前全线下挫。据《财富》杂志报道，Anthropic正在开发并已开始向
3月初，腾讯在深圳总部楼下设立“龙虾站”，引发千人排队尝鲜。OpenClaw掀起的“全民养虾”热潮，在短短一个月内让更多人看到了AI Agent深入业务场景的价值，随即推动Token调用量大规模增长