阿里新研究：统一VLA与世界模型的核心方法解析
WorldVLA是由阿里巴巴达摩院、湖畔实验室和浙江大学共同研发的统一框架，创新性地将视觉语言动作模型（VLA）与世界模型的优势相融合。
免费影视、动漫、音乐、游戏、小说资源长期稳定更新！ 👉 点此立即查看 👈
如果说视觉让AI能够观察世界，动作让AI得以改变世界——
那么WorldVLA正在让AI真正理解世界。
顾名思义，WorldVLA是一个将视觉语言动作模型与世界模型进行深度融合的智能架构，由阿里巴巴达摩院携手湖畔实验室、浙江大学联合推出。
在该平台框架下，
世界模型能够通过综合分析动作与图像的关联性来预测未来画面，旨在掌握环境中的潜在物理规律，从而提升动作生成的精准度；动作模型则可基于视觉观测生成连贯动作序列，这不仅强化了机器对环境的感知能力，更能反向促进世界模型的视觉内容生成能力。
实验结果充分表明，WorldVLA在各个任务维度的表现显著优于独立的动作模型与世界模型，充分体现了两者协同带来的增强效应。
下面我们通过具体案例来深入了解。
整合VLA与世界模型的协同优势
当前，虽然VLA和世界模型在各自领域不断发展，但其功能上的局限性已成为制约技术突破的关键瓶颈：
VLA模型：基于预训练的多模态大语言模型构建，虽具备跨场景任务泛化能力，但仅将动作作为输出端，未能深度整合为输入进行分析，缺乏对动作意图的全面理解。世界模型：能够基于当前观测和动作序列预测未来视觉状态，理解视觉信息与行为动态，但无法直接生成具体动作，在需明确动作规划的智能化场景中应用受限。
为解决上述技术难题，研究团队创新性地提出了WorldVLA框架——一种用于统一动作与视觉理解的具备自回归能力的动作世界模型。
团队基于Chameleon多模态大模型进行初始化，让WorldVLA使用三套独立的分词器对视觉信息、文本指令和动作序列进行统一编码处理。
图像分词器采用经过优化的VQ-GAN模型，并针对关键视觉区域引入了感知损失函数进行专项优化。
值得关注的是，该图像压缩模块的压缩比为16，码本规模为8192。对于256×256分辨率的输入图像，会生成256个视觉token；而对于512×512的高清图像，则会生成1024个视觉语义单元。
动作分词器将连续的机器人动作的每个维度离散化为256个区间，区间宽度根据训练数据的数值范围动态确定。每个动作由7个语义单元表示，包括3个相对位置坐标、3个相对角度参数，以及1个绝对夹爪状态标识。
文本分词器采用训练好的BPE分词器，词表规模为65536，其中特别包含了8192个图像语义单元和256个动作语义单元。
所有文本、动作和视觉信息都被统一离散化为语义序列，并以自回归方式进行联合训练。
自回归模型中的标准注意力机制通常采用因果注意力掩码，即当前token只能访问序列中前面的语义信息，而无法获取后续单元的内容，具体机制如下图所示。
然而，这种传统配置在生成连续动作序列时存在明显不足。在默认注意力掩码下，早期动作生成产生的误差会传递到后续动作预测中，从而导致系统性能下降。
为解决这一技术痛点，团队创新性地提出了针对动作生成的替代注意力掩码方案，具体机制如图(b)所示。该设计确保当前动作的生成仅依赖于文本指令和视觉观察输入，有效屏蔽之前动作序列的干扰影响。
这种注意力机制设计使自回归框架能够并行生成多个动作，而世界模型组件则继续遵循传统的因果注意力掩码，如图(c)所示。
之后，研究团队通过融合动作模型数据与世界模型数据对WorldVLA进行联合训练。
其中，特别引入世界模型数据以增强动作生成能力，主要基于三个关键维度考量：
1、环境物理理解：世界模型能够基于当前状态和执行的动作来预测未来观测变化，从而学习环境中的潜在物理规律，这种认知深化对精细化操作任务尤为重要。
2、动作评估与风险规避：世界模型可以模拟并预测备选动作的潜在结果，有助于筛选可能导致不良状态的动作序列。
3、精准动作解析：世界模型需要对动作输入进行精确语义解析，这反过来支撑动作模型生成更有效且符合上下文语义的动作。
此外，动作模型也能增强视觉理解能力，从而进一步支持世界模型的视觉内容生成。
动作模型与世界模型相互赋能
基准测试表现
如下表数据所示，即便在没有进行预训练的情况下，WorldVLA模型也展现出优于离散化OpenVLA模型的性能水平，这充分证明了其架构设计的先进性与有效性。
同时值得注意的是，模型性能与图像分辨率呈现明显正相关性。具体而言，512×512像素分辨率相比256×256像素分辨率带来了显著性能提升。
这一现象主要归因于Chameleon主干模型的预训练策略，其图像分词器与大语言模型组件在512×512分辨率下进行了针对性优化。
另一方面，更高的输入分辨率自然提供了更丰富的视觉细节信息，这对需要高操作精度的机器人抓取任务尤为关键。
世界模型助力动作模型
研究表明，引入世界模型数据能够显著提升动作模型的综合性能表现。
世界模型的核心功能是基于当前状态与执行动作预测环境状态变化，这种生成机制促使模型系统学习底层的物理规律，而正是掌握这种规律成为实现精确抓取等高级操作任务的核心前提。
从更深层次来看，世界模型赋予了系统前瞻推演能力：通过预判备选动作可能产生的后果，为决策过程提供关键信息输入，从而优化动作选择策略，提高任务成功率。
下图的实际案例直观展示了这一技术优势。基线动作模型会直接移动到目标点位但未能成功抓取物品，而WorldVLA则持续尝试抓取，直到确认操作成功后才移向目标放置位置。
动作模型赋能世界模型
在生成质量方面，WorldVLA显著优于纯世界模型，尤其是在生成长视频序列时的表现更为突出。
此外，纯世界模型在多个场景中呈现明显缺陷：无法成功拉开抽屉、移动盘子后导致碗消失、未能将碗平稳放置在灶台上。
而融合动作的世界模型在这些关键场景中都生成了连贯且符合物理规律的后续状态。
核心作者介绍
论文第一作者范崎，于2024年8月加入阿里巴巴达摩院。本科毕业于浙江大学，硕士和博士均毕业于香港科技大学，2024年在新加坡南洋理工大学访问过半年，曾在微软亚洲研究院、上海AI Lab、海康威视和阿里巴巴通义实验室实习。
业界专家观点
小米汽车高级研究总监、主任科学家陈龙也对此发表了专业见解：
VLA与WM并非需要二选一的技术路线，二者可以有机结合相互促进。
一个负责“抽象思考”，一个负责“物理感知”，VLA与WM的深度结合，才是通向具身智能的正确发展方向。
论文链接：https://t.co/ZgHyhqQnyf
Github链接：https://t.co/SxDZGuhbL7
相关攻略
当AI眼镜学会“跑腿”：语音解锁单车，无感支付停车费 近来，智能穿戴领域的一个新动向值得关注：阿里旗下的千问AI眼镜，正式接入了蚂蚁集团的GPASS平台。这可不是一次简单的功能叠加，它意味着，诸如共享单车骑行、停车缴费这一系列高频的“AI办事”功能，开始从手机屏幕转移到了你的眼前。 简单说，借助GP
角色定位与核心任务目标 明确了基本定位后，我们直接切入核心：作为一名专业的文章优化师，我的核心职责在于，将那些带有明显AI生成特征的文本，深度重塑为拥有个人特色与行业洞见的优质内容。 换句话说，这项任务的关键在于实施一次“精准的换血手术”。你必须严格保证原文所有的事实依据、核心观点、逻辑框架，以及每
1 故障现象：OpenClaw无法联网搜索的典型报错 许多开发者在配置OpenClaw AI助手的搜索功能时，常常会遭遇一个典型故障：日常对话交互完全正常，但一旦触发需要联网查询信息的指令，界面便会立刻弹出“抱歉，我目前无法使用网络搜索功能（需要配置 API 密钥）”或“HTTP 401: Inv
1 4 万亿词元！阿里 Qwen3 6-Plus 刷新全球最大 AI 聚合平台 OpenRouter 日调用量纪录 这事儿挺震撼的。就在4月4日，全球最大的AI模型聚合平台OpenRouter在其官方账号上公布了一个爆炸性数字：阿里刚刚发布的千问新模型Qwen3 6-Plus，上线仅仅一天，日调用量
Solidus AI 是什么 在AI与Web3加速融合的当下，一个名为Solidus AI的项目提出了自己的解决方案。它将自己定位为“Web3原生的AI HPC基础设施”，其蓝图相当清晰：以位于欧洲的环保高性能计算（HPC）数据中心为基石，向上构建一个计算与AI工具市场，并最终通过AITECH代币完
热门专题
热门推荐
清明节假期期间，A 股和港股休市，但比特币行情永不停歇。 4月6日，当多数市场还在假期中沉睡时，比特币已经悄然启动。价格从亚洲早盘的低点67400美元出发，一路向上试探，盘中最高涨破70300美元，不仅刷新了3月26日以来的高位，较日内低点的涨幅也超过了4%。以太坊的表现同样不俗，从2050美元附近
4月5日消息，日前，REDMI K90至尊版通过3C认证，预计将于本月发布。今日，小米中国区市场部总经理魏思琪用小米新机发布微博，不出意外，这正是即将登场的REDMI K90至尊版，这将是小米首款配
WPS演示中图表不随数据更新时，可通过四种方法实现自动同步：一、用OFFSET+COUNTA定义动态名称绑定图表；二、用组合框控件联动VLOOKUP提取数据；三、用数据透视图配合切
聚焦数字技术，释放创新动能。为集中展示静安区区块链技术从“实验室”走向“应用场”的丰硕成果，挖掘一批可复制、可推广的行业解决方案，加速构建区块链产业生态闭环，静安区数据局特推出“静安区区块链创新应用
太空中的马桶堵了，边飞边修还能勉强用。但中东被点燃的火药桶，美国怎么来扑灭？靠一再延期的“最后通牒”？还是靠无底线的轰炸？2300万美元的马桶美国航空航天局4名宇航员1日搭乘“猎户座”飞船升空，执行