人眼易错漏？蚂蚁问题6步精准治理方案
天下苦机器人看不清透明和反光物体久矣。
毕竟就连小动物甚至人，有时候一个不小心，都会搞笑地撞到干净的玻璃门……
不仅如此，若是让机器人拿起透明的玻璃杯、反光的不锈钢物体，他们也会经常出现“突然看不清了”的情况。
这一切的问题，正是出在了机器人的眼睛——深度相机。
因为无论是基于结构光还是双目立体视觉的深度相机，它们的工作原理都是依赖物体表面对光线的稳定反射。
而透明材质会让光线直接穿透，高反光材质则会将光线漫反射到四面八方，导致传感器无法接收到有效的回波信号，从而产生大量缺失或错误的深度值。
对比一下我们人类看到的场景和机器人眼中的场景，就一目了然了：
毫不夸张地说，这类让机器人睁眼看不清的问题，一直是阻碍它们安全地走进家庭、商场和医院等场景的Big Big Big Problem！
但现在，随着一项新技术的提出，机器人的眼疾终于算是被治好了——
蚂蚁集团的具身智能公司蚂蚁灵波科技（Robbyant），开源了全球看得最清楚的深度视觉模型，LingBot-Depth。
同样是上面两个场景，我们直接来看下在LingBot-Depth加持下的效果：
也正因如此，机器人现在不论是抓取反光的不锈钢杯子，还是透明的玻璃杯，都是易如反掌：
视频地址：https://mp.weixin.qq.com/s/y-5vx4MVlkucEMwxNQunJA
用一句经典歇后语来表达这个feel，或许就是“老太太戴眼镜——不简单”。
确实不简单。
因为LingBot-Depth不仅解锁了“全球看得最清楚”的头衔，还是首次在不需要换硬件的条件下就能实现的那种。
那么蚂蚁灵波到底是怎么做到的，我们这就细扒一下论文。
咋就一下子能看清了？
在很多非专业讨论中，透明和反光常常被混为一谈，统称为视觉难点。
但若是从算法层面来看，它俩其实是两类截然不同、甚至相反的问题。
首先，透明物体的问题在于信息缺失。
玻璃几乎不提供稳定的纹理，也不会像普通物体那样反射环境光，相机看到的，更多是背景的延续。
对于深度模型来说，它既不知道玻璃本身到哪儿才算结束，也不知道真实厚度和形态。
而反光物体的问题，恰恰相反，是信息过载。
高反射率表面会把环境、光源、相机本身统统映射进画面，导致同一物体在不同角度、不同时间下呈现完全不同的外观。
因此，模型很难判断，哪些像素属于物体，哪些只是倒影。
这也意味着，如果用一套统一的假设去处理这两类问题，往往两头都做不好。
LingBot-Depth的一个重要设计思想，正是明确区分透明和反光这两种类型的物理成因，而不是把它们简单当成噪声。
为此，蚂蚁灵波团队想到了一个非常反直觉的解法：
既然传感器在这些地方失效了，那这个失效本身，不就是一种最有力的特征吗？
因为传感器输出的那些缺失区域，其实是一个天然的掩码（Natural Mask），起码可以告诉模型这块区域有问题。
受今年大火的MAE（Masked Autoencoders）的启发，团队便提出了一种名为Masked Depth Modeling（MDM，掩码深度建模）全新范式。
简单来说，LingBot-Depth在训练的过程中，会把深度图中那些天然缺失的区域作为掩码，然后要求模型仅凭完整的RGB彩色图像和剩余的有效深度信息，去脑补出被掩码遮住的那部分深度。
但这个过程也是非常具有挑战性的。
模型必须学会从RGB图像中挖掘出极其细微的线索，比如玻璃边缘的折射畸变、反光表面的环境倒影、物体的轮廓和阴影，然后将这些视觉上下文与已知的几何信息进行深度融合，才能做出准确的推断。
为了实现这一目标，LingBot-Depth在技术架构上也是做了一些小巧思：
首先是联合嵌入的ViT架构。
模型采用视觉Transformer（ViT-Large）作为主干网络，它会对输入的RGB图像和深度图分别进行分块（Patch Embedding），生成两组Tokens。
为了区分这两种模态，模型还引入了模态编码（Modality Embedding），告诉网络哪些令牌来自颜色，哪些来自深度。随后，通过自注意力机制，模型能够自动学习颜色与深度之间的精细对应关系，建立起跨模态的联合表征。
其次是智能掩码策略。
不同于MAE中完全随机的掩码，MDM的掩码策略更聪明。它优先使用传感器天然产生的缺失区域作为掩码；对于部分有效、部分无效的深度块，则以高概率（如75%）进行掩码；如果天然掩码不够，才会补充一些随机掩码。
这种策略确保了模型始终在解决最困难、最真实的问题。
最后是ConvStack解码器。
在重建阶段，模型放弃了传统的Transformer解码器，转而采用一个名为ConvStack的卷积金字塔解码器。
这种结构在处理密集的几何预测任务（如深度图）时，能更好地保留空间细节和边界锐度，输出的深度图更加清晰、连贯。
此外，在数据采集与实验验证环节，团队还使用了奥比中光（Orbbec）的Gemini 330系列双目3D相机进行了大量真实场景的采集与测试。
这不仅保证了数据来源的多样性与真实性，也为模型在实际硬件平台上的部署提供了重要支持。
通过这种方式，LingBot-Depth不仅学会了补全深度，更重要的是，它将对3D几何的深刻理解内化到了模型的“骨髓”里。
即使在推理时只给它一张单目RGB图片（没有任何深度输入），它也能凭借学到的先验知识，估算出相当准确的深度图，展现出强大的泛化能力。
1000万数据炼出来的
一个模型再强大，也离不开高质量、大规模的数据。
蚂蚁灵波团队构建了一套可扩展的数据采集与合成的pipeline，其中，200万来自真实世界，100万来自高保真仿真模拟；同时，还结合了开源数据，最终数据量达到了1000万。
在真实数据方面，团队设计了一套模块化的3D打印采集装置，可以灵活适配多种商用RGB-D相机（如Orbbec Gemini、Intel RealSense、ZED等）。
他们走遍了住宅、办公室、商场、餐厅、健身房、医院、停车场等数十种场景，系统性地收集了大量包含透明、反光、低纹理等挑战性物体的真实数据。这些数据覆盖了极其丰富的长尾场景，为模型的鲁棒性打下了坚实基础。
在仿真数据方面，为了模拟真实深度相机的成像缺陷，团队没有简单地渲染完美的深度图，而是在Blender中同时渲染RGB图像和带散斑的红外立体图像对。再通过经典的半全局匹配（SGM）算法生成有缺陷的仿真深度图。
这种方法能高度还原真实传感器在面对复杂材质时的失效模式。
值得注意的是，这套包含200万真实和100万仿真数据的庞大数据集，是蚂蚁灵波团队近期计划开源的重要资产，旨在降低整个行业在空间感知领域的研究门槛。
算法够创新，数据够硬核，这才有了LingBot-Depth突出的性能表现。
在多个权威的深度补全基准测试（如iBims、NYUv2、DIODE）上，它全面碾压了当前最先进的SOTA。
尤其是在最严苛的极端设定下（深度图大面积缺失并伴有严重噪声），LingBot-Depth的RMSE指标比此前最好的方法降低了超过40%。
除此之外，尽管模型是在静态图像上训练的，但它在视频序列上展现出了惊人的时空一致性。
在一段包含玻璃大门、有镜子和玻璃的健身房、海洋馆隧道的视频中，LingBot-Depth 输出的深度流不仅填补了原始传感器的大片空洞，而且在整个视频过程中保持平滑、稳定，没有任何闪烁或跳变。
为了验证LingBot-Depth 在真实世界中的价值，蚂蚁灵波团队将其部署到了一台真实的机器人平台上。
这套系统由Rokae（节卡）XMate-SR5机械臂、X Hand-1灵巧手和搭载了 LingBot-Depth 的 Orbbec Gemini 330 系列深度相机组成。
视频地址：https://mp.weixin.qq.com/s/y-5vx4MVlkucEMwxNQunJA
实验目标是抓取一系列对深度感知极具挑战的物体：不锈钢杯、透明玻璃杯、透明收纳盒和玩具车。
在20次抓取尝试中，使用LingBot-Depth的成功率远高于使用原始深度数据。
缺点，有时也是一种优势
解决物理世界的感知难题，好的硬件固然重要，但不一定非要死磕。
这或许就是LingBot-Depth给行业带来的一种启发。
因为在过去，当现有深度相机无法满足需求时，唯一的出路往往是斥巨资更换更昂贵、更专业的硬件。
而LingBot-Depth提供了一条软硬协同的路径：它可以在不更换现有相机硬件的前提下，通过算法大幅提升深度感知的鲁棒性与完整性。
它可以作为一个即插即用的算法模块，无缝集成到现有的机器人、自动驾驶汽车或AR/VR设备的感知链路中，以极低的成本，显著提升其在复杂真实环境下的3D感知鲁棒性。
例如，在与奥比中光等硬件适配的过程中，团队验证了LingBot-Depth能够在其现有消费级深度相机上实现接近专业级传感器的感知效果。
这无疑将大大加速具身智能在家庭服务、仓储物流、商业零售等场景的落地进程。
更重要的是，蚂蚁灵波秉承开放精神，已经开源了LingBot-Depth的代码和模型权重，并计划开源其庞大的300万RGB-D数据集。
这一举动将极大地降低学术界和工业界在空间感知领域的研究与开发门槛，有望催生更多创新应用，共同推动整个行业的向前发展。
除此之外，LingBot-Depth也是有哲学意味在身上的：
有时候，缺点本身就是一种优势。
你觉得呢？
项目地址：
https://technology.robbyant.com/lingbot-depth
GitHub地址：
https://github.com/robbyant/lingbot-depth
HuggingFace地址：
https://huggingface.co/robbyant/lingbot-depth
相关攻略
近日，开源具身智能原生框架Dexbotic宣布正式支持以RLinf作为其分布式强化学习后端。对具身智能开发者而言，这不仅是一次普通的工程适配，更意味着VLA模型研发中长期存在的「SFT与RL割裂」问题，正在被真正打通。 这是一种典型的「乐高式协作」：双方不强行Fork、不粗暴揉合代码，而是保持清晰边
随着大模型参数规模不断增长，混合专家（Mixture-of-Experts, MoE）架构因其稀疏激活特性，成为平衡模型性能与计算开销的主流方案。然而，在实际的Web级应用部署中，一个关键挑战日益凸显：传统MoE的路由机制通常是“无记忆”的。 试想，在搜索引擎、智能问答或多轮对话等高并发场景下，用户
编程十年的一点分享 在软件开发的路上走过十几年，从一个爱好者到以此为业，有些体会或许值得聊聊，就当是抛砖引玉吧。 最早接触编程，是从BASIC和C语言开始的。工作后，随着需要，陆续学习了dBase、Access这类桌面数据库的开发。真正以开发为职业，可以说始于FoxPro 5 0，之后技术栈随着项目
引言 编程，是一门实践科学。这意味着，学习它的最佳方式就是动手去敲代码。但这是否意味着，我们可以因此轻视理论的学习呢？ 入门编程 如果你去各大技术社区提问“该如何入门编程”，五花八门的答案会瞬间涌来。 不过，仔细梳理一下，无外乎以下几种流派： 学院派 他们推荐从C语言入手，并辅以数据结构、操作系统等
想象一下这个场景： 你让 AI Agent 帮你修一个代码 Bug。它打开项目，读了 20 个文件，改了改，跑了一下测试，没过，又改，又跑，还是没过……来回折腾了十几轮，终于——还是没修好。 你关掉电脑，松了口气。然后收到了 API 账单。 上面的数字可能让你倒吸一口凉气——AI Agent 自主修
热门专题
热门推荐
钉钉文档官网 在探讨企业级协同办公解决方案时，钉钉文档无疑是备受瞩目的核心工具之一。作为阿里巴巴钉钉官方推出的旗舰级应用套件，它深度融合了在线文档编辑、智能表格、思维导图等多种高效创作工具。其核心优势在于与钉钉平台生态的无缝衔接，能够直接同步企业内部组织架构与通讯录，实现团队成员间的即时协作与信息流
在数字化转型浪潮中，高效、易用的数据分析工具已成为企业提升决策效率的关键。商汤科技推出的“办公小浣熊”智能助手，正是基于自研大语言模型打造的一款创新产品，旨在彻底降低数据分析的技术门槛。用户无需掌握编程知识或复杂操作，即可通过自然对话完成从数据查询、处理到可视化洞察的全流程，让数据价值触手可及。 办
在人工智能技术快速发展的今天，MiniMax作为一家专注于全栈自研的AI公司，正以其独特的技术路径和前瞻性的布局，在业界脱颖而出。公司致力于构建覆盖文本、图像、语音和视频的新一代多模态智能模型矩阵，这不仅体现了对核心底层技术自主权的深度掌控，也展现了对未来人机交互与内容生成形态的前瞻思考。 那么，M
ApolloCreditFund（ACRED）作为连接传统信贷与DeFi的桥梁，其价格受市场情绪、协议基本面及宏观环境影响。其价值逻辑根植于现实世界资产（RWA）的收益捕获与链上流动性释放。短期价格波动难以预测，但长期发展取决于信贷资产质量、协议安全性和市场采用度。投资者需关注其底层资产表现、代币经济模型及整个RWA赛道的发展趋势。
在数字化转型浪潮中，一套能够深度适配业务、彰显品牌特色的智能客服系统，已成为企业提升服务效率与用户体验的关键工具。然而，市场上许多解决方案往往模式固化，难以满足个性化需求。如何让AI客服不仅具备基础的自动化应答能力，更能承载独特的品牌文化与服务哲学？其核心在于系统是否支持深度的自定义与持续的AI训练