苹果AI模型突破长视频理解，1B小参数版性能领先业界
8 月 23 日消息，科技媒体 9to5Mac 今天发布博文，报道称苹果研究团队开源 SlowFast-LLaVA-1.5 长视频多模态大语言模型，在 1B、3B、7B 参数规模下，均刷新 LongVideoBench、MLVU 等 SOTA 基准纪录。
免费影视、动漫、音乐、游戏、小说资源长期稳定更新！ 👉 点此立即查看 👈
援引博文介绍，当前大语言模型在处理和理解视频方面，通用做法是在 AI 预训练中集成视频感知，但这种做法存在以下 3 重局限性：
现有模型往往严重依赖长上下文窗口，而处理时通常会遇到大量冗余帧，易超出上下文窗口限制，从而丢失信息。
大多数训练需要复杂的多阶段训练管道（通常使用私有数据集），难以重现。
许多模型仅针对视频任务优化，限制了在图像的理解，从而降低通用模型的实用性。
苹果公司针对上述 3 个局限性，首先研究推出了 SlowFast-LLaVA 开源模型，最大的亮点是创新双流（two-stream）设置，其中“慢流”选取少量高分辨率帧捕捉场景细节，“快流”选取更多低分辨率帧追踪运动变化。
苹果进一步在开源模型 SlowFast-LLaVA 模型上，通过微调图像模型，进一步增强视觉推理能力，再联合图像与视频训练，保留图像理解优势，推出了 SlowFast-LLaVA-1.5 版本。
在设计上，SF-LLaVA-1.5 将输入视频帧数固定为 128，其中快流 96 帧，慢流 32 帧，适配各种时长视频。这种方法虽可能漏掉关键帧或影响播放速度判断，但显著降低了计算和显存需求。研究团队指出，可通过引入内存优化技术（如随机反向传播）进一步改进，但需解决高显存占用问题。
测试显示，该模型在长视频基准 LongVideoBench、MLVU 上均取得新纪录，而且 1B 版本也能领先竞争对手。同时，它在知识问答、数学推理、OCR 等图像相关任务上表现出色，实现视频与图像的通用理解能力。
该项目完全基于公开数据集训练，方便学术与产业复现，并已在 GitHub 与 Hugging Face 开源。
相关攻略
苹果旗舰耳机AirPods Max 2正式开售：六年后迎来关键的“芯片”革新？ 苹果旗下定价最高的头戴式耳机——AirPods Max迎来第二代产品，起售价维持3999元。这款备受期待的迭代新品发售之际，市场反馈却显得颇为复杂。早在发布之初，不少专业媒体与深度评测便指出其升级幅度有限。如今，随着全球
苹果AirPods Max 2深度拆解：熟悉的配方，不变的“维修之墙” 近日，知名维修机构iFixit发布了一段备受关注的视频，他们终于对苹果新款高端头戴耳机AirPods Max 2“动了手”。拆解结果多少有些令人意外：新耳机在核心架构上，几乎就是初代产品的“复刻版”。 附上相关拆解视频如下： i
苹果公司历史档案首次公开：揭秘历代经典产品背后不为人知的研发历程 为庆祝品牌成立50周年，苹果公司近期做出了一项特别举措：首席执行官蒂姆·库克首次对公司外的访问者开放了内部历史档案库，并展示了一批从未对外公布过的珍贵历史文件与实物原型。 此次档案公开本身传递出一个清晰的信号。库克在现场强调的核心观点
iPhone 18 Pro系列前瞻：设计、芯片与影像的确定性升级 进入下半年，科技圈的聚光灯，无疑将再次聚焦于苹果的年度旗舰。最新信息显示，iPhone 18 Pro系列的节奏已然清晰：计划于7月启动量产，并在9月如期亮相。与时间表一同明确的，是新机在配色、外观与核心硬件上将迎来的一系列关键调整。
苹果健身技术副总裁杰伊·布拉尼克将于7月退休，为其13年苹果生涯画上句号 据科技媒体最新报道，苹果公司的健身技术副总裁杰伊·布拉尼克将于今年7月正式退休，结束其在苹果长达十三年的职业旅程。 作为苹果健康业务的核心奠基人之一，杰伊·布拉尼克在2013年加入苹果后，深度塑造了公司多项标志性健康功能。他主
热门专题
热门推荐
末日生存手游推荐：前往九游开启你的废土冒险之旅 近年来，末日生存题材手游以其独特的沉浸感与生存挑战，持续吸引着大量玩家。在废墟世界中探索资源、应对危机、重建秩序的核心玩法，带来了紧张而富有成就感的游戏体验。如果你正在寻找一款高品质的末日生存手游，九游平台无疑是理想的起点。这里汇集了多款深受好评的末日
《纪念碑谷3》第二关“小镇”超详细图文攻略 《纪念碑谷》系列凭借其独特的视觉艺术与空间谜题设计广受赞誉。最新发布的《纪念碑谷3》在第二章节“小镇”中，将这一美学风格与机关逻辑提升到了新的层次。本章节不仅延续了标志性的极简主义美学，其空间层次感与交互严谨性也更具挑战性。本攻略将为你完整解析《纪念碑谷3
《生存33天》：“沙漠之王”高效通关攻略 在热门生存手游《生存33天》中，玩家面临的挑战远不止于无尽的丧尸潮。游戏深度结合了生存资源管理与高难度首领战策略，其中“沙漠之王”堪称游戏中期最具考验的BOSS。它不仅是实力分水岭，击败后更能获得稀有材料、限定头衔及海量经验金币，大幅推动队伍成长。本文将深入
《生存33天》“四只手”首领完全通关攻略 你是否在“四只手”首领关卡止步不前？不必焦虑，这个Boss在《生存33天》中素有“新秀杀手”之称。初次遭遇时，其独特的机制与高额伤害往往让玩家措手不及，不少冒险者在此耗费了数日时光。然而，只要掌握了它的核心规律，你就会发现这个敌人不过是外强中干。以下这份详尽
《剑与远征：启程》前排坦克英雄赫普深度解析：双形态切换机制与实战搭配指南 在《剑与远征：启程》这款策略放置手游中，组建一支攻守兼备的队伍至关重要，而前排坦克英雄的选择往往是决定胜败的关键。今天，我们将聚焦于蛮血部族的一位特色英雄——赫普。作为一名超稀有品质的坦克，赫普不仅具备坚实的防御力，更凭借独特