商汤NEO开源:1/10数据量媲美顶级模型,终结拼凑式AI
商汤科技与南洋理工大学S-Lab联合发布并开源全新多模态模型架构NEO,该框架通过底层架构创新实现了视觉与语言的深层统一,在性能、效率和通用性方面取得全面突破。
NEO最显著的突破在于其极高的数据效率——仅需3.9亿图像文本示例,相当于业界同等性能模型十分之一的数据量,便能开发出顶尖的视觉感知能力。无需依赖海量数据及额外视觉编码器,NEO凭借简洁架构在多项视觉理解任务中追平Qwen2-VL、InternVL等顶级模块化旗舰模型。
在MMMU、MMB、MMStar、SEED-I、POPE等多项公开权威评测中,NEO均斩获高分,综合性能优于其他原生VLM,真正实现了原生架构"精度无损"的设计目标。
当前业内主流多模态模型大多遵循"视觉编码器+投影器+语言模型"的模块化范式。这种基于大语言模型的扩展方式虽然实现了图像输入兼容,但本质上仍以语言为中心,图像与语言的融合仅停留在数据层面。这种"拼凑"式设计不仅学习效率低下,更限制了模型在复杂多模态场景下的处理能力,尤其是涉及图像细节捕捉或复杂空间结构理解的任务。
NEO则通过在注意力机制、位置编码和语义映射三个关键维度的底层创新,让模型天生具备统一处理视觉与语言的能力。
原生图块嵌入(Native Patch Embedding):NEO摒弃了离散的图像tokenizer,通过独创的Patch Embedding Layer(PEL)自底向上构建从像素到词元的连续映射。这种设计能更精细地捕捉图像细节,从根本上突破了主流模型的图像建模瓶颈。
原生多头注意力(Native Multi-Head Attention):针对不同模态特征,NEO在统一框架下实现了文本token的自回归注意力和视觉token的双向注意力并存。这种设计极大提升了模型对空间结构关联的利用率,从而更好地支撑复杂的图文混合理解与推理。
热门专题
热门推荐
公安部就电子数据取证规则公开征求意见,拟将网络安全等行政案件纳入适用范围,并规范取证流程与核心概念。新规特别明确了获取密码、调取通讯内容等特殊程序,需经严格审批并保障当事人权利。配套法律文书也同步优化,以构建更规范且注重权利保障的取证体系。
理想L9和LIvis的定价策略刚掀起波澜,小鹏GX的最终价格就给出了更猛烈的回应——从近40万元的预售价直降至27万元起。用小鹏产品矩阵负责人吴安飞的话说,这叫“9系的产品,8系的价格”。 这12万元的下调,效果堪称立竿见影。发布会次日,小鹏集团港股股价一度大涨超8%。更关键的是市场订单:上市12小
5月21日,环塔拉力赛新疆且末赛段大营迎来了一位备受瞩目的访客——知名零售企业胖东来的创始人于东来。他专程前往长城汽车车队营地,与参赛车手及后勤团队进行了深度交流。据悉,于东来此次自驾越野之旅已历时一月,随行车队中包含多款国产越野车型。经过实地驾驶与多维度对比,他对以长城汽车为代表的国产越野车品质给
比特币官方入口在哪里?一个核心门户的权威指南 说起比特币,很多人第一反应是去找它的“官网”或“官方App”。但这里有个关键点需要先理清:比特币本质上是一种去中心化的全球数字货币,它不属于任何一家公司或机构,而是由一个庞大的、遍布全球的社区共同维护。因此,它并没有传统意义上由某个企业运营的“官方网站”
Ring-2 5-1T是什么 在当今大模型技术激烈竞争的赛道上,追求更长的上下文处理能力和更强大的深度推理性能已成为核心焦点。近日,蚂蚁集团旗下的inclusionAI团队重磅开源了Ring-2 5-1T模型,这是一个参数规模高达万亿级别的混合线性思考大语言模型。该模型基于先进的Ling 2 5架构





