首页 游戏 软件 资讯 排行榜 专题
首页
科技数码
00后团队为上汽研发机器人眼球,实现主动机器视觉

00后团队为上汽研发机器人眼球,实现主动机器视觉

热心网友
55
转载
2026-01-13

近日,上海交通大学杨佳澍和所在团队开发出一款名为 EyeVLA 的机器人眼球系统,让机器人拥有了真正的主动视觉。

假设你想让扫地机器人看看沙发下有没有玩具车,有了 EyeVLA 机器人就可以灵活地调整视角和焦距,不需要凑进去看,这种能力让机器人在许多实际任务中变得更加有用,比如可以在仓库里不需要移动位置找货、在工厂里检查零件,甚至帮助老人在杂乱的环境中找到需要的药品。


(来源:https://arxiv.org/abs/2511.15279)

在一个测试里,杨佳澍等人让机器人辨认一下放在盒子里的笔的品牌。普通的固定摄像头根本无法拍摄到笔身的细节,而 EyeVLA 通过自动转动和放大,让笔身上的小字清晰可见,最终准确识别出了品牌。

类似的应用场景还有很多,比如可以帮你找钥匙和检查窗户是否关好,可以在工业流水线上识别细小的零件缺陷,可以协助药师在药店快速寻找目标药品等。


图 | 杨佳澍(来源:杨佳澍)

无需人工引导或控制,只需给定指令即可自主完成观察

EyeVLA 搭载了一个精巧的系统,让机器人可以根据语言指令自主调整视角,这个系统主要由三部分组成:一个可以水平旋转、垂直俯仰的 2 维云台,一个可以变焦的摄像头,以及一个智能大脑,这个大脑是一个经过特殊训练的多模态大模型,能够同时理解图像、语言并生成具体动作。

机器人的每个动作,比如向左转 5 度、向上抬 3 度、放大 1.2 倍,都需要被转换成计算机能够理解的格式。杨佳澍等人设计了一种高效的动作编码方式,把连续的动作数值分层编码为基本的动作词,就像我们使用字母拼成单词一样。这样做的好处是,机器人可以使用更少的信息来表达更加精确的动作,同时有更强的语义性,便于模型学习。

当你对机器人说请看清楚那个蓝色盒子的标签时,EyeVLA 会首先分析这句话的含义,再结合当前摄像头拍到的画面,判断该如何调整视角。它会自动计算出需要转动多少角度、放大多少倍,才能让标签清晰地出现在画面中心。这个过程是实时、连续和闭环的,就像我们使用时鼠标拖动电子地图以及放大查看细节一样自然。

相关论文的第一作者杨佳澍告诉 DeepTech:“尽管近期有其他团队使用云台电机进行感知探索,但我们的系统在扩展性、可靠性及开放场景下的完全自主性方面具有明显优势。我们是首个在完全开放场景下基于变焦相机实现语言指令驱动视觉感知的系统,无需人工引导或控制,只需给定指令即可自主完成观察。”


(来源:https://arxiv.org/abs/2511.15279)

小到找钥匙、大到医疗辅助均可使用

手动收集真机数据往往成本高昂,为了降低成本让机器人学会这套视觉动作,杨佳澍等人使用了包含两个阶段的训练方法。

第一个阶段是模仿学习,他们先是收集了少量真人操作机器的数据,记录下真人在不同指令下是如何调整视角的。接着,利用这些数据批量合成了模拟数据,让模型在虚拟数据中进行对齐,初步建立起语言、视觉、动作之间的关联。

第二个阶段是强化学习。这时,模型开始在真实数据中试错。每当做出一个动作,系统就会根据它是否看得清楚来给出奖励或惩罚。这样一来,就能在复杂场景中让机器人逐渐学会做出更鲁邦的视角调整。

当前,我们大都习惯了使用手机拍照:手机会自动对焦和调整亮度,拍摄出来清晰的照片。但是,传统的机器人视觉系统更像是一台固定在三脚架上的老式相机,它只能从一个角度、一个距离拍摄,既不能转动、也不能拉近拉远。

这就导致如果机器人要观察的目标很小、或者离得很远,它就很难看清楚。比如,想让机器人看看书架第二层那本书的书名,如果书名字体很小,普通的机器人摄像头可能只能拍摄出来一团模糊的像素,根本认不出来是什么字。

而该团队意识到,要让机器人真正地看懂世界,就不能让它被动地接收图像,而是让它主动地获取详细的信息,就像人类会转头、走近、眯起眼睛或瞪大眼睛观察事物一样。这就是主动视觉的核心思想,机器人也应该学会怎么去看,而不仅仅是看到了什么。


(来源:https://arxiv.org/abs/2511.15279)

杨佳澍表示:“现有机器人往往在机械臂前端或者固定支架上安装固定摄像头,但由于机械臂体积和活动范围等限制,无法深入狭窄或危险区域观察目标细节(如文字、纹理)。我们的方法通过纯光学变焦调整,可在机械臂无法触及的场景中实现视觉感知,避免进入杂乱或危险环境,拓宽了机器人视觉的应用范围。”

参考资料:

相关论文 https://arxiv.org/abs/2511.15279

运营/排版:何晨龙

来源:https://www.163.com/dy/article/KJ66N1CH05119734.html
免责声明: 游乐网为非赢利性网站,所展示的游戏/软件/文章内容均来自于互联网或第三方用户上传分享,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系youleyoucom@outlook.com。

相关攻略

科技巨头布局云台相机市场 能否撼动大疆主导地位
科技数码
科技巨头布局云台相机市场 能否撼动大疆主导地位

短视频与Vlog创作的全民化浪潮,正在重塑影像设备市场的竞争版图。曾经被定位为“便携玩具”或“专业辅助”的云台相机,凭借其一体化的便携设计、卓越的防抖性能与智能化体验,正迅速崛起为新一代轻量化创作利器。随着市场从小众走向主流,OPPO、vivo、荣耀以及影石等科技巨头纷纷布局,竞相涌入这一赛道。一场

热心网友
05.13
2026年便携数码相机选购指南与热门型号推荐
AI
2026年便携数码相机选购指南与热门型号推荐

你是否已经厌倦了手机千篇一律的成像风格,渴望获得更具质感的照片?一台专业的便携式数码相机或许能成为你的创作利器。得益于其普遍搭载的更大尺寸图像传感器、更强大的光学变焦能力,以及部分型号为应对严苛环境而设计的坚固机身,这类相机不仅能轻松完成手机难以企及的拍摄任务,更能带你探索手机摄影无法从容驾驭的多样

热心网友
05.13
影石云台相机可拆卸屏幕创新设计解析
科技数码
影石云台相机可拆卸屏幕创新设计解析

影石即将推出的LunaUltra手持云台相机采用首创可拆卸式屏幕设计。拆下的部分成为集成屏幕与按键的遥控器,用户可远程操控主机并实时监看画面,极大提升了单人创作的灵活性与拍摄角度。其完整评测预计将于近期集中发布。

热心网友
05.11
富士X-T6相机2026年9月发布并推出两款新镜头
业界动态
富士X-T6相机2026年9月发布并推出两款新镜头

关于富士X-T6相机的上市时间,近期有了更为明确的预测。多方消息指出,这款备受瞩目的旗舰级APS-C相机预计将在2026年9月正式发布。更令摄影爱好者期待的是,富士很可能在此次发布会上带来“一机两镜”的组合,同步推出两款全新的X卡口镜头,进一步丰富其镜头生态系统。 富士X-T系列在摄影爱好者心中始终

热心网友
05.08
徕卡金属灰限量版相机与镜头发布 M11-P Q3 D-Lux 8及M50F2双A镜头
科技数码
徕卡金属灰限量版相机与镜头发布 M11-P Q3 D-Lux 8及M50F2双A镜头

5月7日,一则来自外媒LeicaRumors的消息,让不少徕卡粉丝和器材爱好者提起了兴趣。据其透露,徕卡正计划推出一系列“金属灰”配色的限量版产品,涵盖M11-P、Q3和D-Lux 8三款热门相机,并且,为了延续品牌在限量套装上的传统,还将推出一款同色系的APO-Summicron-M 50mm f

热心网友
05.07

最新APP

宝宝过生日
宝宝过生日
应用辅助 04-07
台球世界
台球世界
体育竞技 04-07
解绳子
解绳子
休闲益智 04-07
骑兵冲突
骑兵冲突
棋牌策略 04-07
三国真龙传
三国真龙传
角色扮演 04-07

热门推荐

华硕ROG枪神魔霸新锐2026游戏本预约开启
科技数码
华硕ROG枪神魔霸新锐2026游戏本预约开启

华硕ROG正式发布2026款枪神、魔霸及魔霸新锐系列游戏本并开启预约。枪神系列分为标准版与超竞版,均搭载酷睿Ultra9处理器,超竞版可选RTX5090显卡并配备光显矩阵屏。魔霸系列采用AMD锐龙处理器,高配可选锐龙99955HX3D与RTX5070Ti显卡。魔霸新锐系列主打性价比,配备RTX5060显卡,面向预算有限的玩家。

热心网友
05.15
锐龙5 9600X单通道内存电竞性能实测 依然轻松胜出
科技数码
锐龙5 9600X单通道内存电竞性能实测 依然轻松胜出

内存价格高企,单通道DDR5成为高性价比装机方案,但会降低游戏性能。测试显示,锐龙59600X凭借Zen5大核架构及对内存低延迟的优化,在搭配单条DDR56000内存时,游戏性能损失较小。相比之下,酷睿Ultra200SPLUS系列更依赖高带宽,单通道下性能下滑明显。在多款热门电竞网游实测中,锐龙59600X性能领先,且整机性价比优势显著。

热心网友
05.15
神牛ML40摄影灯内置锂电池版发布 售价568元起
科技数码
神牛ML40摄影灯内置锂电池版发布 售价568元起

神牛发布ML40系列摄影灯,包含ML40Bi和ML40R两款。ML40Bi售价568元,内置锂电池,支持边充边用及NFC快速连接,侧重便携智能。ML40R售价698元,具备更广色温调节范围,侧重专业色彩控制。两者均采用磁吸设计,兼容丰富附件,满足不同布光需求。

热心网友
05.15
华硕850W氮化镓电源白金重炮手849元入手
科技数码
华硕850W氮化镓电源白金重炮手849元入手

华硕TUFGaming系列推出新款850W白金重炮手氮化镓电源,到手价849元。该电源符合ATX3 1规范,长度150mm,采用全模组设计,配备12V-2×6接口支持600W峰值功率。其获得双白金效率认证与A-噪声认证,内部使用氮化镓元件与长寿电容,搭配135mm静音风扇,并提供8年质保,主打高效、安静与持久稳定。

热心网友
05.15
Falcon USD是什么币?USDF稳定币市值排名与投资价值解析
web3.0
Falcon USD是什么币?USDF稳定币市值排名与投资价值解析

FalconUSD(USDF)是一种与美元挂钩的稳定币,旨在为Web3生态系统提供可靠的交易媒介和价值储存工具。其运作依赖于储备资产支持和透明审计机制,在DeFi、跨境支付等场景有应用潜力。了解其技术原理、市场定位及潜在风险,有助于理性评估这一新兴数字资产的价值与前景。

热心网友
05.15