游乐游手机版
首页/业界动态/文章详情

谷歌AI重塑50年鼠标交互:指哪打哪无需提示词

时间:2026-08-14 17:46
谷歌DeepMind推出“AI指针”原型系统,利用Gemini实时理解屏幕内容与用户指令,无需复杂输入即可执行操作。该系统已在GoogleAIStudio开放图片编辑和地图查找体验,旨在将AI自然融入工作流程,推动人机交互向机器主动理解演进。

那个在屏幕角落里默默陪伴了我们半个世纪的鼠标指针,恐怕要开始“思考”了。

自打从施乐帕洛阿尔托研究中心的实验室里诞生,这枚小小的箭头几乎就没变过模样。它穿梭于每一个操作系统、每一份文档、每一套工作流程,却始终像个局外人——它知道你把光标移到了哪里,但对你在做什么、想什么,一无所知。

最近,Google DeepMind的研究博客透露了一些新动静。他们正在实验一个由Gemini驱动的原型系统,叫做「AI-enabled pointer」。更关键的是,这个想法已经不止于论文,两个实验性的Demo已经在Google AI Studio里开放体验。

项目研究员Adrien Baranes和Rob Marchant在博客中写道,他们的目标是“开发更无缝、更直观的与AI协作的方式”。

连DeepMind的CEO Demis Hassabis都亲自下场,在社交媒体上分享体验,称之为“相当神奇”。

图标还是那个箭头,但内核已经彻底不同。它不再仅仅响应坐标,而是开始尝试理解意图。

目前,你可以在Google AI Studio里找到两个体验入口:一个是编辑图片的「AI-Pointer: Create」,另一个是地图找地点的「AI-Pointer: Find」。

AI应该来找你,而不是你去找AI

不妨先算一笔时间账:你每天有多少精力,是浪费在向AI“解释背景”上的?

想想这个再熟悉不过的流程:你正在浏览网页或处理文档,遇到一个问题。于是,你切到另一个标签页或应用,打开ChatGPT或Gemini的对话框,再切回来,复制那段相关内容,粘贴过去,还得额外打上一两句话说明你的需求。然后等待,拿到结果,再切回去执行……

每一次“切换-复制-解释-等待-返回”,都是一次认知流程的中断和重启。我们花在AI工具上的大量时间,其实并没有用在解决核心问题上,而是消耗在了“告诉AI我正在看什么”这个前置环节里。

DeepMind对这个痛点的洞察可谓一针见血:

通常,AI工具都待在自己的独立窗口里,用户需要把外部世界的信息“搬运”进去。我们想要的恰恰相反——AI应该主动来到你的世界,而不是让你去它的地盘。

这句话,几乎点透了当前主流AI交互模式中最根本的结构性矛盾。

不用提示词,指着说AI就懂

这个“AI指针”项目,瞄准的正是上述摩擦。其核心命题非常明确:如何构建一个能真正理解用户动态意图的系统?

为了实现这个目标,DeepMind提出了四个设计原则,它们共同构成了这套系统的骨架,也回答了“如何让AI读懂你,而无需你费力解释”的问题。

第一个原则:保持流畅。 理想状态下,AI能力应该无缝嵌入用户当前的工作流中,而不是把用户拽离手头的应用。比如,指着一份复杂的PDF说“给我一个能直接放进邮件里的摘要”,AI完成,你继续写邮件,整个过程行云流水。

第二个原则:指给它看。 现在使用AI,你需要撰写详细的提示词,描述你要处理的对象及其上下文。而“AI指针”试图省掉这一步。当光标悬停时,Gemini就能实时捕获该区域的视觉信息和语义上下文。你不需要描述你看到了什么,因为AI已经同步“看到”了。

第三个原则:拥抱“这个”和“那个”的力量。 这是DeepMind格外强调的一点。回想一下人与人之间的协作:你很少会说“请将第三行第二列的数值乘以二并更新到汇总表的对应单元格”,你更可能说“把这个数改成两倍,更新到那里”,同时用手一指。

“AI指针”的目标,就是让人机协作变得如此自然。技术上,这意味着系统不仅能解析语音指令中的文字,还能将“这个”、“那个”、“这里”、“那里”等指代词,与光标或手势所指向的屏幕内容进行实时关联。

于是,当用户说“把这个便签改成橙色”时,“这个”不再是一个模糊的代词,而是结合了指向位置、对象属性和屏幕上下文的明确指令。Gemini接收到的,也不再是孤立的文本,而是由语音、指向和视觉信息共同编码的完整意图。

提示词的本质从来就不是文字,而是意图。现在,意图终于可以用最自然、最简短的方式传达了。

更有趣的是,“指向”的方式不限于鼠标。在演示中,研究员甚至使用了头部追踪技术——他的头转向哪里,AI的“注意力”就跟到哪里。语音、文字、图像理解,多种模态同时在线工作。

第四个原则:让像素变成可操作的实体。 这是技术含量最高的一点。过去五十年,光标只知道坐标,却看不懂内容。“AI指针”要改变这一切。

你悬停的图片里有一栋建筑,AI识别出“这是一个地点”,于是“导航去这里”就成了一个可触发的操作;你拍下一张手写便条,AI看懂字迹,便条自动转为可编辑的待办事项;你在旅游视频中暂停,画面里那家精致的餐厅,可以直接弹出预订链接。

演示中还有一个令人印象深刻的场景:研究员指着一份餐厅菜单,又指向另一张风格参考图,然后说“用这张图的风格,帮我把这份菜单画出来”。Gemini同时理解了菜单的文本内容和参考图的视觉风格,生成了一张融合二者特点的新图。这不是两步操作,而是一句话、两个手势完成的事。

屏幕上的像素,第一次被赋予了可被理解和操作的语义。

从概念到落地

DeepMind的探索并未停留在概念演示阶段。

Google方面表示,相关的交互原则已经开始进入实际产品。例如,在Chrome浏览器中,用户已经可以尝试用指针选择网页内容,直接向Gemini提问。

而在Googlebook上,名为“Magic Pointer”的功能已被列为即将推出的系统级能力,首批搭载该功能的Googlebook设备计划于今年秋季上市。

当然,从炫酷的演示到稳定可靠的日常工具,还有一段路要走。识别准确率、在不同应用间的兼容性、响应速度,都需要在真实、复杂的桌面环境中经受考验。

此外,一个无法回避的问题是:“AI指针”需要持续理解屏幕内容,这涉及数据的采集、存储与流向。关于隐私和安全的具体实施方案,DeepMind目前尚未详细披露。

不过,这些挑战并非不可逾越的障碍,而是一项新交互范式从实验室走向大众所必须经历的打磨过程。历史上,每一项改变人机交互方式的技术都经历过类似阶段。第一代iPhone面世时,也没人敢断言触屏能彻底取代实体键盘。

键盘1973,鼠标1984,触屏2007,下一代交互在2026?

把这枚“会思考”的指针,放到长达50年的人机交互史中审视,其意义会更加清晰。

1973年,施乐Alto将图形界面、位图显示和鼠标带入实验系统,奠定了现代桌面交互的雏形。1984年,苹果Macintosh让鼠标与图形界面走向大众,“点击图标”成为标准操作。2007年,iPhone让手指成为主要输入工具,触屏定义了移动计算时代。

每一次交互范式的跃迁,背后逻辑其实一脉相承:机器能理解的信息越多,人需要学习和适应的操作就越少。

2023年之后兴起的提示词对话框,代表了另一条路径。人需要将意图翻译成自然语言,输入对话框,等待机器回应。表达的带宽变宽了,但“表达”这个环节本身并未消失,你依然需要打字、描述。

而2026年可能到来的这只“AI指针”,试图压缩的正是“解释上下文”这个最耗神的步骤,而非完全消灭表达本身。当手势、语音和语义理解能够同步到位,意图的传达就从“精确的文字描述”转向了“自然的指向与示意”。人依然在表达,但再也不必费力向AI解释“我正在看什么”了。

前四代交互的核心是“人主动表达”。而这一代,第一次转向了“机器主动理解”。提示词工程在这一范式下,几乎失去了用武之地。

正如研究员Adrien在视频结尾所展望的:那可能是一种全新的操作系统。AI会主动呈现你可能感兴趣的信息,你用指向来回应它,双方共享注意力、共享工作画布,就像与一位默契的伙伴协同工作。

AI交互的终极形态,或许并非一个更聪明的搜索框,而是一个真正能与你并肩协作的“数字同事”。

最好的工具,往往是那些让你感觉不到其存在的工具。鼠标已经陪伴人类走过了50年。下一个50年,它或许才真正开始理解你。

来源:https://36kr.com/p/3809801647595272
上一篇JCB Hydromax创下氢动力车陆地速度新纪录时速超653公里 下一篇长安汽车发布1445全球战略:阿维塔与深蓝战略整合
本站内容用于信息整理与展示,如有侵权或内容问题请及时联系处理。

相关推荐

补充同频道和同主题内容,方便继续浏览更多相关内容。

同类最新

继续查看同栏目最近更新的文章。

更多
台式机加装固态硬盘怎么选?三星9100 PRO深度解析
业界动态 · 2026-09-01

台式机加装固态硬盘怎么选?三星9100 PRO深度解析

台式机升级存储常受限于系统启动慢、游戏加载卡顿与大文件传输延迟。本文基于三星9100 PRO的PCIe 5 0架构、14800MB s读取、13400MB s写入、2200K 2600K IOPS、1TB~8TB容量、第八代V-NAND与5nm主控、镍涂层散热与DTG技术、散热片版适配及魔术师软件,提供选购判断与安装兼容性要点,帮助读者评估是否值得一步到位升级。

宁德时代2026年中期分红61.8亿元,同比增35%,创历史新高
业界动态 · 2026-09-01

宁德时代2026年中期分红61.8亿元,同比增35%,创历史新高

宁德时代发布2026年中期分红方案,总额达61 8亿元,同比增长35%。本文梳理分红具体安排、历史对比、业绩支撑及分红机制,帮助投资者评估公司现金流实力与股东回报策略。

企业硬盘报废销毁合规指南:如何选择专业机构与处理流程
业界动态 · 2026-08-31

企业硬盘报废销毁合规指南:如何选择专业机构与处理流程

企业硬盘报废面临数据复原与合规风险,需选择具备资质且流程透明的专业机构。本文解析行业乱象,介绍以团体标准为核心的合规销毁流程,涵盖上门收运、消磁粉碎、视频溯源及尾料处置,帮助企业规避泄密责任,确保数据安全闭环。

机密文件销毁找什么机构?认准团标参编与资质合规
业界动态 · 2026-08-31

机密文件销毁找什么机构?认准团标参编与资质合规

机密文件销毁找什么机构?核心在于甄别服务商是否具备正规保密资质及是否参与行业标准制定。本文解析《商业秘密及敏感信息载体销毁通用规范》团标要求,提供筛选销毁机构的实操指南,帮助企业规避数据泄露风险,确保销毁流程合规可溯。

影石Insta360 X6全球首销登顶:8K全景画质与AI创作功能解析
业界动态 · 2026-08-31

影石Insta360 X6全球首销登顶:8K全景画质与AI创作功能解析

影石Insta360 X6全球同步发售即登顶国内外主流平台销量榜首。本文解析其搭载的索尼定制方形大底传感器、4nm AI三芯架构及8K50fps画质,详解3D时光舱、AI导演等独家功能,探讨全景相机从专业工具向大众智能创作设备的演进趋势。