刚刚,机器人练成了「白眼」:∞帧画面边看边3D重建我们的世界!
刚刚,机器人的视觉,又达到了一个新的Level。
因为现在,一个新模型已经实现了无尽流:看∞帧视频可以稳定实时3D重建!
免费影视、动漫、音乐、游戏、小说资源长期稳定更新! 👉 点此立即查看 👈
来,感受一下这个feel:

视频地址:
https://mp.weixin.qq.com/s/h3UIMZn46LA2m570p9pKkw
或许有小伙伴要问了,这有啥用啊?
简单来说啊,若是这个模型放到扫地机器人身上,那它就能边打扫边认清家里的3D结构;若是放到自动驾驶身上,那就是边开车边算清路面情况。
有一种火影里宁次白眼的那种味道了。
(注:白眼的能力是360°无死角透视+极远的洞察力+看穿查克拉流动;对应这个模型的全方位空间感知、长序列不丢失细节的特点。)

△图源由AI生成
这,就是蚂蚁灵波最新开源的LingBot-Map,一个专为纯自回归的流式3D重建而打造的基础模型。

不同于此前具身智能视觉的3D重建,这一次,LingBot-Map做到了快、准、狠——
打破了“既要实时、又要记路、还要省显存”的不可能三角。
这种Level的流式3D重建,并不简单
在聊“流式3D重建为什么难”这个话题之前,咱们且需要先分清两个概念:普通3D重建和流式3D重建。
因为它俩可以说是完全两个维度的技术。
先来看传统离线3D重建(离线)。
它的本质用一种微妙的形容,大概就是“事后诸葛亮”,因为必须先拍完完整视频、存储所有帧画面,再集中算力全局建模。
这样做的缺点很明显就是速度慢、耗显存、无法实时交互,应用方面也能用在影视建模、数字孪生等静态场景,根本没法给需要实时决策的机器人、自动驾驶用。
但流式3D重建(在线)就不一样了,它是真能满足具身智能的核心刚需:
来一帧算一帧,边拍边建模、边感知边决策,和人类边走边认路的视觉逻辑高度一致。
不过看似简单,但在实现的过程中,业内公认的有三座大山挡在面前。

△图源由AI生成
第一,记太多就爆显存。
如果模型硬存所有历史帧,几千帧过后显存直接拉满,消费级显卡根本跑不动,工业设备也扛不住长时运行。
第二,记太少就忘光光。
若是只缓存最近几帧,模型会出现灾难性遗忘,长时间运行后轨迹疯狂漂移、重建场景扭曲变形,相当于人走久了忘了自己在哪。
第三,精度速度不可兼得。
要么建模精准但推理慢到卡顿,要么实时性够了但画面糊成马赛克,始终找不到平衡点。
更关键的是,之前绝大多数的流式方案,不是依赖测试时优化,就是用未来帧信息做全局校准,亦或者加入人工设计的关键帧规则,并非端到端的纯推理。
而LingBot-Map走的是纯自回归这条更难的路:严格遵循因果律,仅依赖历史帧信息推理当前帧,无任何后处理、无未来帧依赖、无人工优化规则,所有能力全靠模型端到端学习。
也正因为有了纯自回归的约束,相当于让蒙眼的人仅凭过往记忆走迷宫,既要求走得快、又要求记准路、还不能多耗脑力……
难,是真的难。
但蚂蚁灵波这一次,还真就把这个硬骨头给啃下来了。
像人一样选择性记忆
LingBot-Map背后技术的灵感,来源于人。
就好比咱们在大城市里逛街,却能做到不迷路,不是因为我们的大脑像录像机一样全程“录制”,关键在于大脑执行的是选择性记忆这个操作。
说白了,就是只记住有效、关键的帧。
LingBot-Map的核心,正是完美复刻了这种机制,名曰几何上下文注意力(Geometric Context Attention,GCA)。
更具体而言,LingBot-Map通过GCA,对记忆进行了非常精妙的分层结构化管理。
首先是锚点(Anchor),它的作用让机器人记住“我从哪来”。
任何3D重建都需要一个绝对的坐标系和尺度基准,就好比人类进入陌生房间,会下意识记住门口位置当参照系,防止迷路。
LingBot-Map的锚点模块,就是起到这样的一个作用。
它会锁定初始几帧画面作为基准,固定全局坐标和尺度,如此一来,就解决了纯自回归模型容易出现的尺度模糊、坐标漂移等问题,给整个重建过程定好原点。
其次是位姿参考窗口(Pose-reference Window),用来记住“我身边有什么”。
因为光有起点是不够的,要想走得稳,还得看清脚下的路。
于是团队便在LingBot-Map里设置了位姿参考窗口,它只保留最近的k帧的完整高维特征。
这部分记忆虽然是短期的,但信息极其丰富密集,这样就可以确保模型能够精准地捕捉局部的几何细节,让当前帧能够丝滑地与前几帧拼接在一起,让每一步都踩得极准。
最后就是轨迹记忆(Trajectory Memory),起到记住“我走过的路”的作用。
这也是LingBot-Map中非常关键的一个步骤。
对于那些既不是起点、也不在眼前,属于很久以前的中间历史画面,模型不再存储它们庞大具体的图像像素细节。
取而代之的是,它将这些历史帧的宏大信息,极致压缩成了区区6个极简的Token(包含相机、锚点和寄存器 Token),并打上时间戳(位置编码)。
对比传统因果注意力,LingBot-Map的单帧信息增长量直接降低80倍,哪怕处理万帧长视频,显存消耗也几乎恒定。

三大模块协同发力,便是LingBot-Map打破不可能三角的关键原因了。
那么这套打法效果又如何呢?
实测拿下新SOTA
从论文中呈现的实验结果来看,LingBot-Map已经在多项权威基准测试中,全面碾压其它流式模型,稳坐SOTA之位。
首先是长序列稳定性。
在10000+帧的超长视频序列测试中,模型全程保持稳定重建质量,没有出现任何明显的轨迹漂移。要知道,同类纯自回归模型往往几百帧就开始扭曲,万帧稳定的表现,直接刷新了行业纪录。

其次是速度与精度双突破。
在518×378的主流分辨率下,推理速度达到20FPS,比同类流式方法基线快了近一倍,完全满足机器人、自动驾驶的实时性需求。
在Oxford Spires、ETH3D、Tanks & Temples等权威数据集测试中,轨迹误差降低约77%,3D点云建模精度、全局一致性远超所有流式竞品,甚至比部分离线优化模型表现更优。

除此之外,模型运行显存仅需13.28GB,普通消费级显卡即可流畅部署,彻底告别对高端专业显卡的依赖。
对比同类方案动辄30GB+的显存需求,LingBot-Map实现了“技术顶尖、落地亲民”,让流式3D重建具备了规模化商用的基础。
而且效率测试的数据更加直观。
对比全历史帧缓存方案,LingBot-Map用64帧窗口设计,将推理速度从3.12FPS提升至19.95FPS,显存从36.06GB压缩至13.28GB,速度提升6倍、显存降低63%,同时精度反而更高,印证了GCA记忆机制的优越性。

在看完LingBot-Map背后的技术和展现的效果之后,还有一个话题值得聊一聊:
LingBot-Map的开源绝不是为了单点刷榜、秀肌肉。
补齐另一块具身智能关键拼图
若是大家长期关注蚂蚁灵波,就不难发现它在下一盘大棋。
仅仅在今年1月,蚂蚁灵波便已经陆续开源了多款模型:
从感知世界的LingBot-Depth,到理解物理规律的LingBot-World,再到控制身体的LingBot-VLA和全球首个具身世界模型LingBot-VA。
而今天LingBot-Map的开源,则补齐了“边走边记、理解并重建连续真实三维空间”的关键拼图。
这就意味着蚂蚁灵波正式构建了“感知-建模-模拟-控制”全链路具身智能技术栈,从看懂世界、建模世界,到理解世界、操控身体,形成了完整的技术闭环。
此举对全产业落地来说,亦是有着重要的价值。举三个例便一目了然了:
机器人:仓库巡检、家庭服务,机器人不再需要昂贵的激光雷达,单靠摄像头就能边走边建图,真正实现低成本、大规模部署。AR/VR:戴上眼镜,虚拟物体可以零延迟、不漂移地叠加在真实桌面上,虚实融合的体验将被拉满。自动驾驶/无人机:城市级大场景的实时建模成为可能,为纯视觉的自动驾驶方案提供了更强大的时空理解能力。
因此,综上所述,LingBot-Map的出现,可以说是机器理解真实物理世界迈出的关键一步。
与此同时,蚂蚁灵波的持续开源,也让我们清晰地看到,具身智能的规模化落地,正在以前所未有的速度向我们驶来。
Hugging Face:
https://huggingface.co/robbyant/lingbot-map
ModelScope:
https://www.modelscope.cn/models/Robbyant/lingbot-map
GitHub:
https://github.com/Robbyant/lingbot-map
Paper:
https://arxiv.org/abs/2604.14141
Homepage:
https://technology.robbyant.com/lingbot-map
相关攻略
刚刚,机器人的视觉,又达到了一个新的Level。 因为现在,一个新模型已经实现了无尽流:看∞帧视频可以稳定实时3D重建! 来,感受一下这个feel: 视频地址:https: mp weixin qq com s h3UIMZn46LA2m570p9pKkw 或许有小伙伴要问了,这有啥用啊? 简单来
中国机器人“跑堂”日本餐厅,全球赛道领先地位凸显 来源:海外网 日本《读卖新闻》近日的一则报道,将目光投向了餐饮业里那些忙碌的“新员工”。报道指出,中国厂商在机器人研发领域已形成强大竞争力,其全球市场的领先地位正日益巩固。 人手短缺,在日本餐饮业早已不是新闻。于是,走进许多连锁餐厅,你大概率会看到传
京东推出“机器人救护车”:上门维修服务,三年覆盖全国超50城 4月15日,京东放出了一个重磅消息:正式推出“机器人救护车”。这可不是普通的车辆,而是专门为那些走在行业前沿的“员工”——人形机器人、四足机器人、AI陪伴机器人等——提供专业维修保养的移动服务站。从基础维修、故障诊断,到换电补能、测试鉴定
2026广交会观察:科沃斯如何从“清洁王者”迈向“全场景智能” 四月的广州,春意正浓。第139届中国进出口商品交易会(广交会)在琶洲国际会展中心拉开帷幕,这里向来是观察中国制造风向的绝佳窗口。今年,科沃斯集团携旗下科沃斯机器人与添可两大品牌,以一套覆盖家庭内外的全场景智能产品矩阵亮相,吸引了众多海外
宇树科技确认携H1微调版出战人形机器人半马,独立团队亦将同场竞技 最新消息确认,宇树科技将现身4月19日于北京举行的人形机器人半程马拉松赛事。不过,由于时间与精力分配上的考量,宇树此次仅派出了一款机型——2024年款H1的微调版本。这相当于让自家的“王牌选手”独自上场,挑战经典型号的性能天花板。 值
热门专题
热门推荐
DOGE交易进阶指南:融合四大技术维度,精准捕捉买卖节奏 在波动剧烈的加密货币市场,尤其是像DOGE(狗狗币)这样的热门资产,单一的技术指标往往失之偏颇。成功的交易者善于构建一个多维度的分析框架。本文将深入解析如何将K线关键形态、均线系统、成交量分析以及动态止盈止损策略有机结合,形成一个高效、可靠的
SOL公链竞争力:从吞吐量、费用到生态的三维评估 评估一条公链的竞争力,不能只看纸面数据,更要看其实际运行的健康度和生态活力。对于SOL(Solana)这条以高性能著称的Layer1公链,其核心竞争力究竟体现在哪里?简单来说,可以归结为三个硬指标:吞吐量、费用和生态。目前,其网络TPS稳定在4万以上
根据2026年4月16日的最新零售渠道消息,微软下一代Surface Pro与Surface Laptop系列的详细规格已浮出水面。新系列将继续沿用差异化的平台策略,以满足不同用户群体的需求。 具体而言,面向消费级市场的版本将全面采用ARM架构处理器,以追求出色的能效比与续航表现。而商用级版本则会搭
亚马逊Kindle推出无DRM购买选项:电子书真正归用户所有 近期,科技媒体Goodereader披露了一则引发出版行业与数字阅读者高度关注的消息。实际上,自去年12月以来,亚马逊已逐步开放权限,允许出版社及独立作者直接向Kindle商店上传EPUB、PDF格式的电子书文件,并支持以无数字版权管理(
在欧易平台,用4小时EMA双线捕捉ETH趋势行情 想在以太坊的波动中把握趋势?一套清晰、可执行的交易系统至关重要。今天要聊的,就是以4小时EMA(7)与EMA(30)双线位置及交叉为核心,结合价格结构、成交量与动态移动止盈,来构建的一套ETH趋势交易框架。 一、确认4小时EMA趋势方向 趋势是朋友,





