Meta分割一切3.0推出，新增概念提示实现语义分割新玩法
传统语义分割好无趣好无聊，技能语义分割加入概念提示，好好玩，要爆了。（doge）
免费影视、动漫、音乐、游戏、小说资源长期稳定更新！ 👉 点此立即查看 👈
SAM 3——第三代“分割一切”模型刚刚被发现，已经悄然投稿ICLR 2026。
论文还在双盲评审阶段，作者匿名中，但标题暴露一切。
简单来说，就是在这个最新新版中，分割模型终于能听懂人话了：只要说出想要的东西，SAM 3就能在图像/视频中分割出对应实例。
比如，输入“条纹猫”，SAM 3自己就能找出并分割图中所有带条纹的猫猫：
值得一提的是，SAM 3处理一张含100多个物体的图片仅需30ms，对视频也有近实时处理能力。
能听懂人话的SAM
SAM 1引入了基于点、框、掩码等视觉提示的交互式分割任务，开辟了分割模型的新范式；SAM 2则在此基础之上，加入了对视频和记忆的支持。
这一次，SAM 3让这种交互式分割更进一步：支持基于短语、图像示例等概念提示的多实例分割任务——对，捎带手突破了前代只能处理单个实例的局限。
论文中，SAM 3的研究团队将这种新任务范式命名为PCS（Promptable Concept Segmentation）。
PCS：可提示概念分割
PCS的定义是，给定图像或视频，模型能够基于短语、图像示例，或者两者结合的方式，分割其中所有匹配提示概念的实例。
相比于传统分割任务，PCS强调：
开放性词汇：不局限于预定义的固定类别，支持用户输入任意名词短语作为分割目标；
全实例分割：找到并分割所有符合提示的实例，在视频中，还能保持不同帧之间的身份一致性；
多模态提示：支持多种提示输入，包括文本提示、视觉提示，以及两者结合的方式；
用户交互：允许用户通过交互进行分割结果的精细优化。
新架构设计
SAM 3为实现PCS设计了新的架构。
主要是在检测与分割模块上，SAM 3的检测器基于DETR（Deformable Transformer）架构，能够根据语言和视觉提示生成实例级的检测结果。
同时，引入了Presence Head模块，解耦物体的识别（是什么）和定位（在哪里）任务——
在传统对象检测框架中，模型往往需要同时判断目标是否存在、位置在哪里，这可能导致冲突，尤其是在多实例分割任务中容易出问题。
Presence Head将两者分开处理，从而进一步提升了模型的检测精度。
大规模数据引擎
为了改进PCS，研究团队还专门构建了一个可扩展的数据引擎，生成覆盖400万独特概念标签、5200万经过验证的掩码的训练数据集。
数据引擎由多阶段构成，能够逐步提升数据的多样性和难度。
整个构建过程中人类和大语言模型会相互检查彼此的工作，保证高质量的同时提升了标注的效率。
SA-Co基准
为了评估模型在开放词汇分割任务中的性能，论文还提出了SA-Co（Segment Anything with Concepts）基准。
SA-Co包含214K独特概念、124K图像和1.7K视频，概念覆盖范围能达到现有基准的50倍以上。
不过需要说明的是，SAM 3对语言的处理还局限于简单的短语提示，不支持复杂的语言表达，并不具备多模态大模型的语言生成、复杂语言理解和推理能力。
实验结果
实验结果表明，SAM 3在可提示分割任务中刷新了SOTA。
在LVIS数据集的零样本分割任务中，SAM 3的准确率达到了47.0，比此前的SOTA 38.5提升不少。
在新的SA-Co基准测试中，SAM 3的表现至少比基线方法强2倍。
另外，在针对视频的PVS（Promptable Visual Segmentation）任务中，SAM 3的性能也优于SAM 2。
研究人员还把SAM 3和多模态大模型（MLLM）相结合，探索解决更复杂的任务需求。
比如分割图片中“坐着但没拿礼物盒的人”。
大模型会先拆解需求，比如先找坐着的人，再排除拿礼物盒的人，然后给SAM 3发指令。
结果显示，SAM 3+MLLM的组合比专门做推理分割的模型效果还要好，并且无需专门的数据做训练。
在H200 GPU上，SAM 3处理含100多个实体的单张图像只需要30ms的时间。在视频任务中，推理延迟随着目标数量线性增加，能在约5个并发目标的情况下维持接近实时的性能。
不过，论文也指出，SAM 3难以通过零样本的方式，将能力泛化到如医疗图像、热成像之类的细分领域。
视频分割任务中，遇到多目标场景，模型的实时性能会下降，需要多GPU并行处理。
论文地址：https://openreview.net/forum?id=r35clVtGzw
热门专题
热门推荐
三季报收官，光伏企业交出了近年难得的尚佳成绩 三季报发布完毕，光伏行业总算交出了一份近年来难得的、还算不错的成绩单。市场等这一刻，确实等了挺久。 根据Choice光伏设备板块收录的78家企业财报，整个板块三季度的净利润达到了7 58亿元。这个数字怎么看？不妨对比一下：就在二季度，板块的净亏损还高达4
北京天兵科技天龙三号火箭首飞失利解析 最近，北京天兵科技自主研发的天龙三号大型液体运载火箭，在酒泉卫星发射中心执行首次飞行任务时遭遇失利，这无疑是给国内商业航天关注者带来了一次震动。这款被寄予厚望的火箭，瞄准的是近地轨道20吨级的可回收运力，其设计初衷是通过低成本、高频次的发射模式，抢占一箭36星组
苹果芯片实战：48台Mac mini搭建本地AI集群，如何碘伏云端语音识别？ 最近科技圈有个挺有意思的消息。知名播客应用Overcast的开发者Marco Arment，自己动手搭了个“大家伙”——一个由48台苹果Mac mini组成的服务器集群。关键是，这个集群没走寻常路，它完全绕开了云端AI服务
纯电赛道再进化：领克10系列如何重新定义“运动轿车”？ 如果问，纯电时代最让人怀念传统燃油车的是什么？很多人会把票投给两件事：说走就走的补能，和随心所欲的操控。最近，领克用一场全球首秀给出了自己的答案。旗下全新的中大型运动轿车领克10，以及更极致的性能版本领克10+联袂登场。这不仅仅是两款新车，更像
苹果正酝酿一款“可自定义”的Vision Pro，核心框架支持模块化拼装 一则来自供应链和专利领域的消息，引起了科技圈的关注。4月8日，有外媒报道指出，苹果似乎并不满足于当前的一体化设计思路，其正在深入探索如何打造一款高度可自定义的Apple Vision Pro。未来的VR AR头显，用户或许能像