商汤科技最近放了一个大招——正式发布并全面开源了"日日新SenseNova-Vision"理解生成统一视觉大模型。这是商汤日日新大模型体系在视觉能力上的一次关键升级。过去行业里提到的"统一视觉",说白了就是把检测、分割、深度预测这些专家模型打包在一起,本质上还是各干各的,互不打通。但这次SenseNova-Vision的核心思路完全不同:它要让视觉成为通用基础模型的原生能力,彻底融入大模型体系,而不是当个外设插件。

单模型碾压四大领域
在多项评测中,SenseNova-Vision用一个模型就在四大核心视觉领域实现了大范围领跑,表现比肩甚至超越了各个领域的专用专家模型。具体来看:在结构化视觉理解上,目标检测、指代检测、OCR、关键点定位这些任务全面领先同类通用模型,尤其在稠密小目标检测和长尾类别识别这类复杂场景里,优势更加明显。在稠密几何预测方面,深度估计和表面法向估计的精度达到了几何专用模型的水准,室内外多场景都保持了极高的稳定性。

分割能力涵盖了通用分割、推理分割、交互式分割等,得益于强大的多模态理解力,推理分割和对话式分割的表现尤其让人眼前一亮。更厉害的是,光靠这一个模型就能高质量完成多视角点云重建和相机位姿估计,性能在通用视觉路线里处于领先位置。
全面超越Vision Banana,数据同步开源
横向对比来看,和语义导向模型相比,SenseNova-Vision在检测、分割、深度这些对细节要求极高的视觉任务上实现了全面领先。如果对比生成导向模型Vision Banana,那就更明显了——在各项权威评测的绝大多数指标上,SenseNova-Vision都实现了超越和领跑。Vision Banana只能处理四大核心板块中的两类问题,而SenseNova-Vision却能同时搞定结构化理解、稠密几何、全景分割、多视角3D等全部任务,这是代际上的优势。
在开源方面,商汤不仅开放了模型本身,还同步开源了包含5000万条样本的视觉指令语料库SenseNova-Vision Corpus-50M。接下来,商汤会把SenseNova-Vision的核心技术全面融入日日新U系列大模型中,值得持续关注。
