ServiceNow携AI精准定位技术，突破GUI自动化测试新进展
人工智能在图形用户界面自动化领域实现重要突破，由多家科研机构联合完成的研究推出了两项创新技术，显著提升了AI对界面元素的定位能力。这项成果解决了长期困扰该领域的关键难题，为开发更智能的自动化工具奠定了坚实基础。
免费影视、动漫、音乐、游戏、小说资源长期稳定更新！ 👉 点此立即查看 👈
现代数字生活中，人们每天都需要与各类软件界面互动，从手机应用到电脑程序，从网页浏览到专业软件操作。如果能让AI像人类一样精准识别并操作这些界面元素，将极大提高工作效率。然而现有技术要让AI在屏幕上准确定位按钮、文本框等组件，如同让从未见过地图的人在陌生城市中寻找特定建筑，难度极高。
研究团队发现，当前视觉语言模型在处理GUI定位任务时面临根本性挑战：如何将自然语言指令转化为精确的像素坐标。传统方法要求模型从抽象的视觉特征直接推断坐标位置，缺乏明确的空间参照，导致定位不可靠且泛化能力差。就像闭着眼睛的运动员投篮，或是习惯小操场的球员突然在标准场地比赛，准确率难以保证。
针对这些难题，科研人员开发了RULER技术。该技术通过在图像中引入特殊参考标记，为AI提供明确的空间坐标系统。这些标记编码了像素位置信息，使模型能参考最近的标记点进行精确定位，而非从零开始推测。实验表明，该技术大幅提升了定位稳定性，尤其在处理高分辨率界面时表现突出，即使面对训练时未见过的分辨率也能保持性能。
另一项创新I-MROPE技术则解决了位置编码的深层问题。传统方法在分配频率成分时存在不平衡，导致不同空间维度的建模能力差异显著。I-MROPE采用循环交替分配策略，确保每个维度都能获得完整的频率谱，从而在水平和垂直方向上具备同等精准的定位能力。这种改进不仅提升了GUI定位效果，还保持了与现有语言模型的兼容性。
研究团队在多个标准数据集上验证了新技术，结果显示定位准确率显著提升。特别是在高分辨率专业桌面应用的测试中，新方法将准确率从31.1%提升至37.2%。这种提升源于技术对空间信息的更有效处理：RULER提供了明确的参考框架，而I-MROPE则确保了各维度信息的均衡利用。
技术实现上，RULER以固定间隔设置参考标记，在性能和效率间取得平衡。即使在8K分辨率下，其计算开销也极小。I-MROPE则通过改进频率分配机制，无需调整现有模型架构即可集成。这些特性使得新技术具有很高的实用价值，可轻松应用于现有系统升级。
实验设计充分考虑了实际应用场景。研究人员采用两阶段训练策略，先进行视觉-语言对齐预训练，再进行特定领域微调。测试数据覆盖不同平台和分辨率的界面，评估指标严格模拟真实使用情况，要求预测点必须落在目标元素边界框内才算正确。这种严谨的设计确保了技术成果的可靠性。
这项研究不仅推动了GUI自动化技术的发展，也为其他需要精准空间定位的AI任务提供了新思路。其核心启示在于：通过引入明确的结构设计，而非单纯依赖数据驱动，可以构建更可靠、更高效的人工智能系统。随着技术进一步完善，未来可能出现能自动执行复杂操作流程的智能助手，大幅提升人机交互体验。
问：RULER技术如何提升AI定位能力？答：该技术通过在图像中添加编码像素坐标的参考标记，为AI提供明确的空间坐标系统。模型可参考最近的标记点进行精确定位，就像使用地图导航而非凭感觉猜测位置，显著提高了定位稳定性和跨分辨率泛化能力。
问：I-MROPE技术有什么独特优势？答：这项技术解决了传统位置编码的频率分配不平衡问题，通过循环交替分配策略确保每个空间维度都能获得完整的频率谱。这使得AI在处理界面元素时，水平和垂直方向的定位能力同样精准，且能与现有语言模型无缝集成。
问：这项研究对普通用户有何影响？答：研究成果将推动开发更智能的自动化工具，AI可能实现自动填写表格、批量处理文件等复杂操作。新技术适应不同分辨率设备的能力，意味着无论使用手机、平板还是4K显示器，都能获得稳定可靠的自动化服务，大幅提升工作效率。
热门专题
热门推荐
加密货币行业翘首以盼的监管里程碑，终于有了实质性进展。美国证券交易委员会（SEC）主席保罗·阿特金斯（Paul Atkins）近日证实，那份允许加密项目在早期获得注册豁免权的“安全港”框架提案，已经正式送抵白宫，进入了最终审查阶段。 在范德堡大学与区块链协会联合举办的数字资产峰会上，阿特金斯透露了这
微策略Strategy报告：第一季录得144 6亿美元浮亏 再斥资约3 3亿美元买进4871枚比特币 市场震荡的威力有多大？看看Strategy的最新季报就明白了。根据其最新向美国证管会(SEC)提交的8-K报告，受市场剧烈波动影响，这家公司所持的比特币在第一季度录得了一笔惊人的数字——144 6亿
稳定币巨头Tether的动向，向来是加密世界的风向标。这不，它向Web3基础设施的版图扩张，又迈出了关键一步。公司执行长Paolo Ardoino在社交平台X上透露，其工程团队正在全力“烹制”一个新项目——去中心化搜索引擎 “Hypersearch”。这个消息一出，立刻引发了行业的广泛猜想。 采用D
基地位于Coinbase旗下以太坊Layer2网络Base的Seamless Protocol，日前正式宣告了服务的终结。这个曾经吸引了超过20万用户的原生DeFi借贷协议，在运营不到三年后，终究没能跑赢时间。它主打的核心产品是Integrated Leverage Markets（ILMs）——一
PAAL代币揭秘：深度解析Web3社区治理的核心钥匙 在去中心化自治组织的浪潮中，谁真正掌握了项目的话语权？PAAL代币提供了一套系统化的答案。它不仅是生态内流转的价值媒介，更是开启链上治理大门的核心凭证。通过持有并质押PAAL代币，用户能够对协议升级、资金分配乃至战略方向等关键事务投出决定性的一票