上海AI实验室FrameThinker：用AI高效破解长视频侦查难题
上海AI实验室携手南京大学、香港中文大学、上海交通大学及北京大学的科研团队，在长视频理解领域获得突破性进展。他们提出的FrameThinker框架借鉴人类侦探的推理方式，从根本上改变了传统AI处理长视频的模式。这项研究成果已在arXiv预印本平台发布，编号为2509.24304v2，为智能视频分析开辟了全新路径。
免费影视、动漫、音乐、游戏、小说资源长期稳定更新！ 👉 点此立即查看 👈
传统AI系统处理长视频时，往往采用“撒网式采样”策略，即均匀提取视频帧进行逐帧分析。这种方法好比将整部电影的每一帧画面都打印出来检查，不仅耗费大量计算资源，还容易在海量信息中遗漏关键细节。研究团队发现，现有视觉语言模型存在两大局限：其一是不具备信息价值判断能力，对所有画面一视同仁；其二是推理过程固化，一旦开始分析就无法根据新发现调整策略。
FrameThinker的创新之处在于引入“多轮互动推理”机制。该系统首先快速浏览视频建立整体认知，随后像专业侦探般制定调查计划：通过时间定位技能锁定可疑时段，运用区间探查技能深入分析特定片段，最终整合所有发现得出结论。这种动态迭代过程使系统能够根据中间结果调整调查方向，显著提升分析效率。
在医疗领域，该技术可帮助医生从数小时手术录像中快速定位关键操作；安防监控中，能迅速从全天候录像中发现异常事件；教育场景下，则可自动提取课程录像中的重点知识。研究团队通过具体案例展示，当被问及“视频中小女孩使用何种工具寻找目标”时，系统先整体浏览发现关键角色，再聚焦特定帧区间观察，最终确认面具为重要道具，整个过程展现出类人推理能力。
训练阶段采用两阶段递进式方法。首阶段通过2392个精心设计的案例，教授系统基础推理规范，包括直接回答、单次搜查、时间定位等五种模式。第二阶段强化学习阶段使用28000个复杂案例，引入“条件奖励”机制：只有当系统最终答案正确且推理过程合理时，才会对有效搜查行为给予奖励。这种设计避免了传统训练中AI为获取奖励而执行无意义操作的问题。
为确保推理逻辑严密性，研究团队开发了认知一致性验证模块。该模块通过三项检查保障系统可靠性：冗余检查防止重复无效操作，逻辑流程检查确保推理连贯性，忠实度检查核对思考与行动的一致性。实验数据显示，在Video-Holmes基准测试中，FrameThinker准确率达56.1%，较之前最佳成绩提升显著，且仅需观看10.2帧即可得出结论，效率提升超3倍。
技术实现层面，系统基于Qwen2.5-VL-7B模型构建，配备70亿参数。训练数据由Gemini-2.5-Pro模型生成，每个示例均经过严格质量把控。针对不同长度视频，系统自适应调整搜查策略：300秒以内视频每次获取8帧，更长视频则获取12帧。强化学习阶段采用的“组相对策略优化”算法，通过比较多条推理路径学习最优策略。
在LongVideo-Reason测试中，FrameThinker准确率达76.1%，超越需观看512帧的竞争对手，而自身仅需20.6帧。其他基准测试同样表现优异：LongVideoBench准确率52.9%（21.1帧），MLVU准确率59.1%（23.2帧），VideoMME-Long准确率47.6%（24.1帧），LVBench准确率36.6%（23.9帧）。在所有测试中，系统计算资源消耗减少25%-36%，准确率平均提升10.4%。
奖励机制设计是技术突破的关键。研究团队经过多轮试验发现，单纯格式奖励会导致AI敷衍了事，无条件行动奖励则引发重复无效操作，多轮奖励又造成推理质量下降。最终确定的“条件行动奖励”方案，对时间定位技能给予更高权重，因其提供的信息更精准可靠。这种设计哲学强调：AI学习的核心应是高效解决问题，而非执行更多动作。
该技术对日常生活的影响正在显现。智能视频搜索引擎可快速定位海量视频中的关键片段，在线教育系统能自动提取课程精华，医疗诊断工具可精准定位医学影像中的病灶。FrameThinker展现的主动探索能力，标志着AI从信息处理器向智能推理者的转变，为人机协作模式带来新的思考维度。
热门专题
热门推荐
加密货币行业翘首以盼的监管里程碑，终于有了实质性进展。美国证券交易委员会（SEC）主席保罗·阿特金斯（Paul Atkins）近日证实，那份允许加密项目在早期获得注册豁免权的“安全港”框架提案，已经正式送抵白宫，进入了最终审查阶段。 在范德堡大学与区块链协会联合举办的数字资产峰会上，阿特金斯透露了这
微策略Strategy报告：第一季录得144 6亿美元浮亏 再斥资约3 3亿美元买进4871枚比特币 市场震荡的威力有多大？看看Strategy的最新季报就明白了。根据其最新向美国证管会(SEC)提交的8-K报告，受市场剧烈波动影响，这家公司所持的比特币在第一季度录得了一笔惊人的数字——144 6亿
稳定币巨头Tether的动向，向来是加密世界的风向标。这不，它向Web3基础设施的版图扩张，又迈出了关键一步。公司执行长Paolo Ardoino在社交平台X上透露，其工程团队正在全力“烹制”一个新项目——去中心化搜索引擎 “Hypersearch”。这个消息一出，立刻引发了行业的广泛猜想。 采用D
基地位于Coinbase旗下以太坊Layer2网络Base的Seamless Protocol，日前正式宣告了服务的终结。这个曾经吸引了超过20万用户的原生DeFi借贷协议，在运营不到三年后，终究没能跑赢时间。它主打的核心产品是Integrated Leverage Markets（ILMs）——一
PAAL代币揭秘：深度解析Web3社区治理的核心钥匙 在去中心化自治组织的浪潮中，谁真正掌握了项目的话语权？PAAL代币提供了一套系统化的答案。它不仅是生态内流转的价值媒介，更是开启链上治理大门的核心凭证。通过持有并质押PAAL代币，用户能够对协议升级、资金分配乃至战略方向等关键事务投出决定性的一票