给机器人发命令，从没这么简单过。
我们知道，在掌握了网络中的语言和图像之后，大模型终究要走进现实世界，「具身智能」应该是下一步发展的方向。把大模型接入机器人，用简单的自然语言代替复杂指令形成具体行动规划，且无需额外数据和训练——这个愿景听起来很美好，但似乎也有些遥远。毕竟机器人领域，难是出了名的。然而，AI的进化速度比我们想象得还要快。
谷歌DeepMind宣布推出RT-2：全球第一个控制机器人的视觉-语言-动作（VLA）模型。现在，不再需要复杂的指令，机器人也能像操作ChatGPT一样被直接操控了。
那么，RT-2到底达到了怎样的智能化程度？DeepMind研究人员用机械臂做了一次展示：对AI说“选择已灭绝的动物”，手臂随即伸出，爪子张开落下——它准确抓住了恐龙玩偶。
在此之前，机器人无法可靠地理解它们从未见过的物体，更别提完成诸如“把‘灭绝动物’和‘塑料恐龙玩偶’联系起来”这种需要推理的任务了。再比如，跟机器人说“把可乐罐给泰勒·斯威夫特”，它也能迅速执行——看得出来，这个机器人是真粉丝。对人类来说，这是个好消息。
ChatGPT等大语言模型的发展，正在为机器人领域掀起一场革命。谷歌把最先进的语言模型安装在机器人身上，让它们终于拥有了一颗真正的人工大脑。在DeepMind最新提交的一篇论文中，研究人员表示，RT-2模型基于网络和机器人数据进行训练，充分利用了Bard等大型语言模型的研究进展，并将其与机器人数据相结合。新模型甚至能理解英语以外的指令。谷歌高管评价称，RT-2是机器人制造和编程方式的重大飞跃。
“由于这一变化，我们不得不重新考虑我们的整个研究规划了，”谷歌DeepMind机器人技术主管Vincent Vanhoucke表示，“之前所做的很多事情都完全变成无用功了。”
RT-2是如何实现的？
将RT-2这个名称拆开来看——Robotic Transformer，即机器人的transformer模型。想要让机器人像科幻电影里一样听懂人话、展现出生存能力，并不是一件容易的事。和虚拟环境不同，真实的物理世界复杂而无序，机器人通常需要极其复杂的指令才能为人类完成一些简单的事情。而人类恰恰相反，本能地就知道该怎么做。
此前，训练机器人需要很长时间，研究人员必须为不同任务单独搭建解决方案。而借助RT-2的强大能力，机器人可以自行分析更多信息，推断下一步该做什么。RT-2建立在视觉-语言模型（VLM）的基础上，并创造了一个全新概念：视觉-语言-动作（VLA）模型。它可以从网络和机器人数据中进行学习，并将这些知识转化为机器人可以理解的通用指令。更令人惊叹的是，该模型甚至具备思维链推理能力——比如判断“哪种饮料最适合疲惫的人”，答案是能量饮料。
其实早在去年，谷歌就曾推出过RT-1版本的机器人。只需一个单一的预训练模型，RT-1就能从不同的感官输入（如视觉、文本等）中生成指令，从而执行多种任务。作为预训练模型，要构建得好自然需要大量用于自监督学习的数据。RT-2就建立在RT-1的基础上，并使用了RT-1的演示数据——这些数据由13个机器人在办公室和厨房环境中历时17个月收集而来。
DeepMind造出了VLA模型
前面提到，RT-2建立在VLM（视觉-语言模型）基础之上。VLMs模型已经在网络规模的数据上完成训练，可用于执行视觉问答、图像字幕生成或物体识别等任务。研究人员对先前提出的两个VLM模型——PaLI-X（Pathways Language and Image model）和PaLM-E（Pathways Language model Embodied）——进行了适应性调整，作为RT-2的主干，并将这些模型的视觉-语言-动作版本分别命名为RT-2-PaLI-X和RT-2-PaLM-E。
要让视觉-语言模型能够控制机器人，还差一步：动作控制。该研究采用了非常直接的方法：将机器人动作表示为另一种“语言”——文本token，并与Web规模的视觉-语言数据集一起训练。机器人的动作编码基于Brohan等人为RT-1模型提出的离散化方法。如下图所示，机器人动作被表示为文本字符串，这串字符串就是机器人动作token编号的序列，例如“1 128 91 241 5 101 127 217”。
这个字符串以一个标志开头，指示机器人是继续还是终止当前任务；随后机器人根据指示改变末端执行器的位置、旋转角度以及机器人抓手的命令。由于动作被表示为文本字符串，机器人执行动作命令就像执行字符串命令一样简单。有了这种表示方法，可以对现有的视觉-语言模型直接进行微调，将其转换为视觉-语言-动作模型。在推理过程中，文本token被分解为机器人动作，从而实现闭环控制。
实验
研究人员对RT-2模型进行了一系列定性和定量实验。下图展示了RT-2在语义理解和基本推理方面的表现。以“把草莓放进正确的碗里”为例——RT-2不仅要理解草莓和碗的特征，还需要在场景中进行推理，知道草莓应该与相似的水果放在一起。而对于“拾起即将从桌子上掉下来的袋子”这项任务，RT-2需要理解袋子的物理属性，以区分两个袋子并识别出处于不稳定位置的那个。关键点在于：所有这些场景中的交互过程，在机器人数据中都从未出现过。
下图显示，在四个基准测试上，RT-2模型的表现均优于之前的RT-1和视觉预训练（VC-1）基线。RT-2不仅保留了机器人在原始任务上的性能，还大幅提升了机器人在未见过场景中的表现——从RT-1的32%跃升至62%。
一系列结果表明，视觉-语言模型（VLM）完全可以转化为强大的视觉-语言-动作（VLA）模型。通过将VLM预训练与机器人数据相结合，可以直接控制机器人。和ChatGPT类似，这种能力一旦大规模应用起来，世界恐怕会发生不小的变化。不过，谷歌目前没有立即部署RT-2机器人的计划，但研究人员相信，这些能听懂人话的机器人绝不会仅仅停留在展示能力的层面。
简单想象一下：内置语言模型的机器人可以放进仓库，帮你抓药，甚至可以作为家庭助理——折叠衣物、从洗碗机中取出物品、在房间里收拾东西。它真正开启了在有人环境下使用机器人的大门，所有需要体力劳动的方向都可以接手——这恰恰是此前OpenAI在对ChatGPT影响工作岗位的预测中，大模型未能覆盖的那部分。现在，它们也被覆盖了。
具身智能，离我们不远了？
最近一段时间，具身智能已成为大量研究者共同探索的方向。本月，斯坦福大学李飞飞团队展示了一些新成果：通过大语言模型加视觉语言模型，AI能在3D空间中进行分析和规划，指导机器人行动。稚晖君的通用人形机器人创业公司「智元机器人（Agibot）」最近放出的视频，也展示了基于大语言模型的机器人行为自动编排和任务执行能力。这一切似乎在告诉我们：具身智能，并不遥远。