上周，我参加了一场在旧金山举行的 robotics meetup，这场机器人技术活动由 Silicon Valley Robotics 和 Nomadic AI 联合主办，地点在 717 Market Street。坦白说，去之前我的预期并不高，原本以为这类线下活动无非是几个人站着聊天、喝点酒、展示几个 demo，然后就结束了。但五场演讲听完后，我发现自己完全低估了这场活动的含金量。

那天讨论的内容，让我重新思考了一件事：过去两年，大家谈 AI 几乎都围绕软件展开，谈模型、谈 token、谈 agent、谈大语言模型。但那天晚上在现场的人，做的是另一件截然不同的事——他们在把 AI 真正放进现实物理世界中，然后迎面撞上了一堵软件 AI 几乎从未认真面对过的墙。五个演讲听下来，我越来越清楚地意识到，物理 AI 和软件 AI 之间的鸿沟，比我原先想象得更大；但与此同时，两者开始交汇的速度，也比我预期得更快。

建筑工地上的自动驾驶，比路上的难多了

第一个演讲来自 Bedrock Robotics 的 CTO Kevin Peterson，他此前曾在 Waymo 从事自动驾驶相关工作。如今他在做的是为建筑机械开发自主控制系统，覆盖挖掘机、轮式装载机、压路机等工程车辆。

乍听之下，这件事似乎比城市道路上的自动驾驶更简单，毕竟建筑工地没有行人乱穿、没有红绿灯，车速也更慢。但 Kevin 讲完之后，我意识到事实恰恰相反：这类场景难得多。原因在于，自动驾驶汽车面对的是高度结构化环境，车道线明确、交通规则明确、参与者也都经过某种标准化训练；而建筑工地则是一个高度非结构化的现实世界，没有固定路线，没有统一规则，任务本身还会持续变化。

Kevin 播放了一段视频：一台挖掘机在密西西比河边一处泥泞工地上作业，地面几乎全是烂泥。为了防止机器陷进去，工人会在下面垫一排原木，挖掘机沿着原木一点点向前移动，作业完成后再把后面的原木捡起，放到前面继续循环。这整套操作逻辑几乎没有现成规则手册，完全依赖现场临场判断。没有哪个工程师坐下来写过“遇到泥地怎么办”的 specification，但经验丰富的人类操作员却能很自然地想出这种方案。

另一段视频也让我印象极深。一台机器在施工过程中需要完成十几次工具切换，先扫地，再夹起一叠钢板，而这些钢板还是会弯曲的软性物体，并不是理想化的刚体。Kevin 说，连他自己都很难准确描述这到底是一个怎样的规划问题。这让我想到一个更深层的问题：我们当下训练 AI 的方式，几乎都默认“任务可以被清晰定义”。但建筑工地的现实恰恰说明，很多任务根本不存在明确边界，只有持续变化的物理状态，以及一个必须随时做判断的操作者。

他还提到一个意外发现，我觉得特别有意思。他们在测试无人驾驶模式时，发现机器开始做出一些在人类司机在场时几乎不会出现的操作——比如把铲斗直接放在地上，借助履带的力量辅助旋转，让整机更精准地对准挖掘方向。这个动作不是工程师提前设计好的，而是从数据中自然涌现出来的。Kevin 说，他们一开始甚至怀疑这是个 bug，后来才意识到，这其实是一个非常合理的最优解。只是因为人类司机长期形成了固定操作习惯，所以这种更优路径一直没有被采用。

这件事让我对“涌现行为”这个词有了新的理解。平时我们讨论涌现，通常指的是大语言模型里突然出现的意外推理能力。但在物理系统中，涌现意味着另一层含义：当你把人从控制链条中移开，机器可能会找到一条人类从未想到、但在物理意义上更优的执行路径。这既令人兴奋，也让人保持警惕，因为你很难在事前预测，这些行为最终会带来正面效果还是负面风险。

语言模型会做机器人任务吗，我们离这一步还有多远

第二个演讲来自 Covariant 的 Da vid Noursi，他的切入角度很不一样。他没有重点介绍某一款具体产品，而是在认真追问一个基础问题：当下最先进的大语言模型，到底有没有能力直接用于机器人任务？

他的分析框架非常清晰。他认为，机器人本质上需要解决四件事：感知、规划、行动、反思。如果把当前的大模型放进这四个环节里看，规划和反思基本已经有了不错进展——用自然语言描述如何完成一个任务，大模型往往表现得相当出色。真正卡住机器人的，反而是感知和行动这两部分。

在感知层面，他发现了一个很有意思的现象：这些模型在“数字视觉”方面表现很好，比如读图表、识别 UI 截图、解析文档中的表格。但在“物理视觉”上却明显弱很多——也就是理解真实三维空间中的深度、遮挡关系与空间位置。他给出的解释是，这些模型主要是在互联网数据上训练出来的，而互联网中大量图像本身就是平面的、数字化的，例如图表、网页截图、扫描文档等。这些都是存在于屏幕里的内容，而不是物理世界中的真实三维场景。模型见过太多像素世界，却见过太少真实空间。

这让我意识到一件事：我们平常说“大模型视觉能力很强”，这句话其实是有前提条件的。它的视觉理解能力建立在特定的数据分布之上，而这个分布与机器人真正需要理解的现实环境之间，存在一条不小的裂缝。想弥合这条裂缝，不能只靠把模型参数做大，还需要从根本上改变训练数据的来源和构成。

至于行动层面的挑战，则更加底层，也更难解决。语言模型的生成机制本质上是离散的，一个 token 接一个 token；但机器人的动作控制却是连续的，关节角度、速度、力矩这些控制量都是连续值，无法被简单离散化。Da vid 的观点很直接：这个矛盾不是靠“让模型更聪明”就能自动消失的，而是必须在系统架构层面正面应对。他认为，感知问题还可以通过更好的三维输入和传感器融合来改善，但行动问题属于输出侧的结构性矛盾，因此更棘手。

听完他的分享，我有一种很强的感觉：如今很多关于通用机器人的讨论，默认接受了一个前提——“只要语言模型足够强，身体层面的难题自然会被解决”。但 Da vid 指出的这两道裂缝提醒我们，感知和行动都不是“等模型继续变强就能顺便跨过去”的问题，而是必须被独立看待、单独攻克的核心挑战。把语言模型的进步直接等同于机器人能力的进步，这个方向感或许没错，但现实难度很可能被大幅低估了。

送外卖的机器人，每天在跟世界上最混乱的环境打交道

Serve Robotics 的 Abhishek Bhatia 分享的是他们的外卖配送机器人业务。他们目前已经有两千多台机器人在美国五十多个城市投入运营，每天都在真实街道和人行道环境中完成外卖配送。这是我见过机器人商业化落地最扎实的案例之一。

但 Abhishek 在台上并没有强调规模数字或商业成绩，而是几乎把全部时间都拿来讲他们遇到的实际挑战，这让我对送餐机器人和配送机器人这件事有了完全不同的认识。

他提到的一个对比，让我印象非常深。自动驾驶汽车运行的是结构相对清晰的道路系统：车道线明确、交通灯有序、交通规则清晰，而且每一个驾驶者上路前都经过了某种形式的训练和认证。然而，外卖机器人走的是人行道，而人行道可能是现实世界里规则最松散、最不可预测的公共空间之一。这里没有车道线，没有统一规范，每一段人行道的宽度、坡度、地面材料都可能不同。更重要的是，任何人都可以随时进入这个空间，并做出任何动作。

他播放了几段真实运营视频。一段是一群人看到机器人后特别兴奋，围上来拍照，机器人必须在不碰撞、不推人的前提下继续前进。另一段是一只狗扑了上来，试图趴在机器人身上。还有一段更夸张：一个孩子踩着滑板追上机器人，抓住机器人的侧面“搭便车”了一段。机器人检测到了这个异常情况，但它不能直接急刹车，因为那样可能会把孩子甩出去造成伤害，所以它必须以安全的方式缓慢减速，同时寻找合适办法脱离。

这些场景看起来甚至有点滑稽，但背后对应的是一个非常严肃的机器人工程问题：在你根本无法穷举所有可能情况的前提下，如何依然保证系统在各种开放场景中的行为安全。

他们采用的方案是双轨制。基础模型负责处理开放环境中的复杂交互，因为真实场景太多样，不可能用纯规则全部覆盖；与此同时，他们保留了一套基于规则的安全系统，专门处理那些必须具备硬性保障的边界情况，例如遮挡区域的风险预判、紧急制动触发时机等。他举了一个细节：机器人需要学会“靠近过度生长的灌木是可以接受的，但靠近墙面不行”。这两种情况在目标检测层面看起来很接近，但语义完全不同，处理逻辑也不同。模型可以学习这种语义区分，但一旦涉及“绝对不能碰”的安全底线，就必须由规则系统兜底，而不能把最终决定完全交给概率性的模型输出。

这套双轨设计让我很受启发。现在我们讨论 AI 安全，很多时候更多是在谈软件层面的对齐与控制问题。但在物理世界里，安全的定义完全不一样——一旦出错，代价可能是真实发生且不可逆的。因此在物理 AI 和机器人系统设计中，“模型负责理解世界，规则负责守住底线”并不是一种保守妥协，而是目前最现实、最可落地的路径。

雷达被低估了，而且低估的方式很荒唐

Zendar 的 Griffin Foster 讲雷达，是那天晚上我觉得最反直觉的一场演讲。他的核心观点非常鲜明：雷达是整个自动驾驶和感知行业中被严重低估的传感器。问题不在于雷达本身不够好，而在于过去几十年里，行业几乎没有真正认真投入资源去挖掘它的潜力。

从物理特性来看，雷达其实非常优秀。它可以直接测速、直接测距，不需要依赖模型估算；它基本不受光照条件影响，能够穿透雨雾，成本还非常低，几乎每辆量产车上都配有雷达。但问题在于，行业长期以来处理雷达的工程思路出了偏差。为了极度压缩成本，雷达硬件被做得越来越便宜，信号处理也被简化得越来越严重，最终输出的只是一种极其稀疏的点云，信息密度远低于摄像头输出的高分辨率图像。于是就形成了一种从一开始就不公平的比较：雷达只有几十个稀疏点，摄像头却有几百万像素，结果当然是摄像头看起来更强，所以行业就顺势得出“雷达不行”的结论，把它降级为备份传感器，特斯拉甚至直接将其移除。

但 Griffin 的观点是，这个逻辑从一开始就搞反了。雷达输出之所以显得稀疏，并不是因为雷达本身信息量少，而是因为过去几十年的工程实现选择了极度简化的处理路径，主动丢掉了大量原始信息。实际上，原始雷达信号里蕴含着丰富内容，只是长期以来没有多少人真正投入精力去研究，如何把这些信息有效提取出来。

他们 Zendar 正在做的事情，就是跳出“稀疏点云”这个历史假设，直接从原始雷达信号中利用模型学习更丰富的表征，让雷达与摄像头在感知系统里真正平等地贡献信息，而不是永远充当摄像头的补充。这样一来，雷达能做的事情就完全不同了：它可以看到被其他车辆遮挡的目标，因为雷达信号能够发生绕射和反弹；它在夜间和恶劣天气下依然稳定；它测得的速度与距离天然就是直接值，不需要额外估算；甚至在某些极端情况下，它还能“看到”摄像头从物理上根本无法看到的内容。

他还分享了一个让我颇感意外的数据点：由于雷达看到的世界更简单——没有颜色信息，纹理很少，主要是结构和速度特征——因此在雷达数据上训练感知模型，往往所需数据量远少于摄像头模型。它的泛化能力反而可能更强，迁移到新环境的成本更低，计算资源消耗也更小。

我觉得 Griffin 这个案例，本质上揭示了一个很普遍的技术认知陷阱：某个技术长期以一种被劣化的形式存在，表现自然不好，于是整个行业就默认它“本质不行”，然后再也没有人认真追问，它到底是真的不行，还是只是工程路径选错了。雷达被低估了几十年，并不是因为物理定律限制它必须如此，而是因为“它不行”这个判断早早被写进了行业共识，之后大家便停止了重新审视。这也让我开始思考：还有多少我们以为已经定论的技术判断，其实只是历史惯性和工程路径依赖造成的错觉？

通用机器人最难解决的不是技术问题，是交互问题

最后一个演讲来自 Innate.bot 的 CEO Axel Peyta vin。他在斯坦福读研期间就做过早期的 agentic robot 研究。他的切入点是五场演讲里最不“技术导向”的一个，但我反而觉得，它最接近通用机器人真正的核心问题。

他提出的问题非常简单：如果通用机器人真的走进家庭和现实场景，我们究竟该如何告诉它“该做什么”？

他举了一个很典型的例子。你对机器人说“帮我收拾房间”，但这句话里其实缺失了大量执行任务所必须的信息。衣服是按颜色分类还是按款式分类？衬衫要挂起来还是叠起来？床单多久换一次？哪些表面不能用水擦？书桌上的纸张是否可以移动？这些规则我们对家人说的时候往往不需要解释，因为彼此共享默认认知；但对机器人来说，这些默认规则几乎全部是空白。

这背后其实是一个更深的交互设计问题。现在我们与 AI 的交互方式，大多建立在一个很强的假设上：说一句话，事情就应该被搞定。这个假设在高度标准化、社会共识很强的任务中成立，比如“帮我查一下明天天气”，因为“查天气”这件事在绝大多数人的理解里差异不大。但只要任务开始涉及个人偏好、家庭习惯和情境判断，这个假设就会迅速失效。“收拾房间”在每个家庭中的具体含义可能都完全不同，没有任何一个模型能仅凭这四个字就准确推断出你家的全部规则体系。

Axel 给出的答案不是“让机器人变得无所不知”，而是“让机器人能够被教会”。他们的机器人 Mars 可以通过遥操作学习任务：你拿着控制器示范一遍，机器人记录过程，之后再尝试自主执行。他还提到一个更有意思的方向——头戴式 egocentric 数据采集。你戴着摄像头帽子完整做一遍任务，机器人从你的第一人称视角学习你到底是怎么做的。这种方式大幅降低了“教机器人”的门槛，不需要写代码，也不需要做复杂数据标注，你只要把自己原本会做的事情自然做一遍就可以。

我听完之后的感觉是，Axel 碰到了一个很多人其实没有认真思考过的关键问题。我们花了大量时间讨论机器人的感知能力、操作能力、泛化能力，却很少认真追问：人和机器人之间的“知识传递”究竟应该如何发生？语言当然是一种手段，但语言能表达出来的知识是有限的。很多人类经验是内隐的，是“做给你看”而不是“说给你听”；它们来自几十年的生活经验、习惯和直觉，本身从未被明确语言化过。

这让我想到，通用机器人未来能不能真正进入家庭，可能并不完全取决于模型有多聪明，而更取决于是否存在一套足够自然、足够低门槛的人机交互机制，让普通用户可以把自己的习惯、规则和偏好顺畅传递给机器人。从这个角度看，交互设计很可能才是机器人行业最容易被低估、却最关键的核心问题之一。

我从这个活动里看到的那件事

听完这五场演讲，我并没有感受到那种“机器人时代马上全面爆发”的亢奋，反而感受到一种更沉、更现实的东西：物理 AI 面对的挑战，是一整套在软件世界里从未被真正严肃处理过的问题，而这些问题很难仅靠“模型更大、数据更多、算力更强”来直接解决。

Kevin 面对的问题，是任务本身缺乏清晰定义，只有持续变化的物理状态；Da vid 面对的问题，是语言模型训练数据分布与真实物理世界之间存在结构性裂缝；Abhishek 面对的问题，是在无法穷举全部场景时，如何在高度不确定性下仍然保障系统安全；Griffin 面对的问题，是行业的历史惯性把一个本来非常有潜力的技术压制了几十年；Axel 面对的问题，则是我们至今仍缺少一套成熟方法，去把人类的内隐知识有效传递给机器。

这五个问题加在一起，才勾勒出物理 AI 和机器人技术真正要解决的现实图景。它们不是同一个问题的不同表象，而是五个彼此独立、都非常硬核的挑战，每一个都需要单独的方法论和攻克路径。

但我也注意到，这五个问题与我们在软件 AI 领域反复讨论的话题，正在出现越来越多的重合。数据质量和训练分布的问题，评估体系和边界条件的问题，人机协作与知识传递的问题，技术判断与认知偏见的问题——这些在软件 AI 中不断被提起的核心议题，在物理 AI 中都找到了自己的具体形态，本质上仍然指向同一批根本性难题。

我相信，在接下来的几年里，做软件 AI 的人和做机器人、做物理 AI 的人之间会有越来越多的对话，因为他们正在撞上的“墙”越来越相似。而真正有意思的事情，或许就会从那个交汇点开始发生。