游乐游手机版
首页/科技数码/文章详情

OnePoseViaGen破解3D位姿估计瓶颈,助力机器人视觉

时间:2025-12-09 21:13
当快递分拣中心的机器人精准地将包裹送入对应货架,当维修人员戴上AR眼镜就能看到虚拟图纸与机械零件完美重合,这些令人惊叹的场景背后,都依赖于一项名为6D位姿估计的关键技术。这项技术让机器不仅能感知物体

当快递分拣中心的机器人精准地将包裹送入对应货架,当维修人员戴上AR眼镜就能看到虚拟图纸与机械零件完美重合,这些令人惊叹的场景背后,都依赖于一项名为6D位姿估计的关键技术。这项技术让机器不仅能感知物体的三维位置,还能精确识别其空间姿态——就像人类能瞬间判断杯子是正放还是倒置、距离自己多远一样,机器正在获得类似的视觉空间理解能力。

在工业制造领域,机械臂需要精确识别零件位置和角度才能完成组装;自动驾驶汽车必须实时感知周围车辆的方位和朝向;增强现实应用则依赖将虚拟物体与真实场景无缝融合。然而,传统6D位姿估计技术面临重大挑战:预扫描的CAD模型往往缺失,多角度拍摄不切实际,单视角重建又存在尺度模糊问题。尽管学界早已认识到单幅图像实现可靠6D位姿估计的重要性,但长期以来这被视为几乎不可能完成的任务。

北京智源研究院联合清华大学、南洋理工大学等机构提出的OnePoseViaGen框架,为破解这一难题开辟了新路径。该框架创新性地将单视图3D生成技术与生成式领域随机化相结合,仅需单张参考图像即可实现未知物体的高精度6D位姿估计。这项突破性技术采用"单视图3D生成-尺度位姿联合优化-生成式领域增强"的端到端解决方案,彻底改变了传统需要多视角或预建模的限制。

技术实现过程分为三个关键阶段。首先通过实例分割工具(如SAM 2)精准提取目标物体,消除背景干扰;接着利用Image-to-Normal工具获取物体表面法线信息,这些反映物体凹凸结构的向量数据与RGB图像共同输入改进型Hi3DGen模型;最终生成归一化的3D纹理网格模型。这个保留物体精细特征的模型虽无实际物理尺度,但为后续处理奠定了基础。

针对单视图重建的尺度模糊难题,研究团队设计了"粗精两步对齐"策略。粗对齐阶段通过多视角渲染和2D特征匹配,结合深度信息与PnP算法估算初始位姿和模糊尺度,再通过优化3D点云重投影误差确定精确全局尺度;精对齐阶段采用类似FoundationPose的迭代优化框架,不断渲染比较并预测位姿增量,同步优化尺度直至收敛。这种创新方法成功解决了归一化模型与真实世界的尺度对齐问题。

为弥合生成模型与真实图像的域差异,研究团队引入文本引导的生成式领域随机化技术。该技术为同一物体生成多种纹理变体(如花纹、纯色、磨砂等不同外观的杯子),在虚拟环境中模拟不同光照、背景和遮挡条件,构建大规模合成数据集。用这些数据微调位姿估计网络后,系统对真实场景的适应能力显著提升,尤其在低纹理、高遮挡等复杂条件下表现优异。

实验验证环节,该技术在YCBInEOAT等主流6D位姿估计基准数据集上表现突出,ADD指标平均精度达81.27%,较基线方法提升近一倍。在复杂光照和高遮挡场景测试中,系统同样保持高鲁棒性。更令人瞩目的是真实机器人实验:搭载灵巧手的ROKAE机械臂和AgileX PiPER双臂机器人,在15类物体的单臂抓取-放置和双臂协作任务中,30次实验成功率极高,精度达到亚厘米级,即使在动态遮挡场景下也能稳定工作。

这项突破对多个领域具有变革意义。工业生产线可快速适应新产品,无需预先建立精细3D模型,大幅降低自动化改造成本;物流机器人能处理各种形状尺寸的包裹,实现真正柔性分拣;家庭服务机器人可快速学习新物体,准确理解"拿红色杯子"等指令;文化遗产保护领域则能通过简单拍照获取文物精确三维信息。相较于传统需要精密传感器和复杂校准的6D位姿估计技术,OnePoseViaGen仅需单张照片即可实现高精度估计,这种"降维打击"式的创新为其大规模应用开辟了广阔前景。

来源:https://www.itbear.com.cn/html/2025-09/973906.html
上一篇京东游戏平板狂欢节开启 多重钜惠畅享沉浸体验 下一篇索尼发布FE 100mm F2.8 GM微距镜头,售价1499美元
本站内容用于信息整理与展示,如有侵权或内容问题请及时联系处理。

相关推荐

补充同频道和同主题内容,方便继续浏览更多相关内容。

同类最新

继续查看同栏目最近更新的文章。

更多
OpenClaw手机App上线,结果翻车了
科技数码 · 2026-07-01

OpenClaw手机App上线,结果翻车了

OpenClaw 官方宣布,已正式推出 iOS 和 Android 原生移动 App,用户如今可以在手机上使用这款主打“能真正帮你做事”的个人 AI 助手。官方在 X 上给出的定位也很直接:把 Agent 放进口袋里,让用户可以在移动端处理频道消息、任务和回复。从功能上看,OpenClaw 移动端并

优必选CEO周剑:家庭机器人生态核心投入过半精力
科技数码 · 2026-07-01

优必选CEO周剑:家庭机器人生态核心投入过半精力

先说几个核心判断:优必选正在布局一盘长远战略。创始人兼CEO周剑在近期一场媒体沟通会上,直接亮出了公司未来的发展路线——工业、商用、家庭陪伴机器人三条业务主赛道并行推进,现阶段每条线各占约一半精力。一边是已经能够稳定创造收入的工业场景,另一边则是他眼中“最具想象力与未来空间”的家庭陪伴领域。工业人形

CPO/NPO/OIO开启封装级光连接价值空间,技术路线尚未收敛
科技数码 · 2026-07-01

CPO/NPO/OIO开启封装级光连接价值空间,技术路线尚未收敛

6月30日,申银万国在光连接系列研报中重点指出,MPO光连接器领域的投资机会值得高度关注。通俗来说,随着AI算力集群持续扩张,光互联升级带来的连锁效应——数据中心光纤通道数量、前面板端口密度、机柜内光纤管理复杂度——均在同步攀升。光连接器的角色早已超越传统的低价值标准件,如今它直接决定着链路插损、可

龙岗AR实景剧本游内测体验短板有效破解之道
科技数码 · 2026-07-01

龙岗AR实景剧本游内测体验短板有效破解之道

在今年龙岗区第二届人工智能与机器人发展大会上,区级部门一次性推出了7个AI“龙搭子”。其中,名为“龙导游”的成果成为文商旅融合领域的核心亮点。据南都N视频记者了解,依托“龙导游”打造的全区全域AR实景剧本游“龙岗大陆”,已在今年五一假期发布了内测版本。经过一个月市场验证后,该项目正式启动面向全社会的

南下资金6月30日净买入中芯国际与建滔积层板
科技数码 · 2026-07-01

南下资金6月30日净买入中芯国际与建滔积层板

6月30日,南下资金持续大举买入港股,单日净流入金额高达58 95亿港元。接下来,我们直接盘点哪些个股获得资金青睐、哪些遭到减持: 净买入方面,中芯国际领跑全场,单日吸金19 33亿港元;建滔积层板紧随其后,净买入10 59亿港元;腾讯控股获得7 65亿港元净流入;智谱(02513 HK)也有6 5