商汤科技联手南洋理工开源NEO架构：原生多模态模型新版发布
商汤科技与南洋理工大学S-Lab联合发布新一代多模态架构NEO，该架构现已正式开源，为日日新SenseNova多模态模型提供了全新的技术底座。这一突破性架构通过底层创新实现了视觉与语言的深度交融，在性能、效率及通用性方面均有显著提升，标志着多模态技术从“模块化拼接”向“原生融合”的范式转变。
免费影视、动漫、音乐、游戏、小说资源长期稳定更新！ 👉 点此立即查看 👈
传统多模态模型多采用“视觉编码器+投影器+语言模型”的模块化设计，以语言模型为核心扩展图像处理能力。然而，这种架构本质上仍以文本为主导，图像与语言的融合仅停留在数据层面，导致模型在复杂场景中（如精细图像分析或空间结构理解）表现受限。商汤科技指出，此类“拼凑式”设计不仅学习效率低下，更难以满足真实场景对多模态协同的需求。
针对上述痛点，NEO架构从底层机制重构多模态处理逻辑，通过三大核心创新实现原生融合：其一，原生图块嵌入技术摒弃离散图像分块方式，采用自底向上的连续映射技术，直接从像素生成语义词元，显著提升图像细节捕捉能力；其二，原生三维旋转位置编码解耦时空频率分配，为视觉与文本模态分配差异化频率参数，使模型同时具备图像空间结构解析与视频跨帧建模潜力；其三，原生多头注意力机制在统一框架下实现文本自回归注意力与视觉双向注意力的协同，强化空间关联推理能力。
在训练策略上，NEO采用Pre-Buffer与Post-LLM双阶段融合机制，既保留原始语言模型的完整推理能力，又从零构建视觉感知模块，有效解决跨模态训练中语言能力退化问题。测试数据显示，该架构仅需3.9亿图像文本样本（约为行业同等性能模型的十分之一），即可在视觉理解任务中比肩Qwen2-VL、InternVL3等旗舰模型。在MMMU、MMB等权威评测中，NEO架构多项指标位居前列，尤其在0.6B至8B参数规模的边缘部署场景中，展现出显著的成本与效率优势。
目前，商汤已开源基于NEO架构的2B与9B参数模型，开发者可通过开源社区获取技术文档与模型权重。此次开源不仅为学术界提供前沿研究基准，更为工业界部署高效多模态应用提供新选择。随着原生融合架构的普及，多模态技术有望在智能终端、自动驾驶、医疗影像等领域实现更广泛的应用突破。
热门专题
热门推荐
vivo浏览器清理书签有三种方法：一、书签管理界面多选删除；二、备份有用书签后清空全部再重添；三、导出HTML文件在电脑编辑后重新导入。如果您在使用 vivo 浏览器时发现书签列表
在当今数字化教学的时代，组卷网app为教师们提供了强大的教学辅助功能。其中，创建班级是利用该app开展教学活动的重要第一步。下面就详细介绍一下如何在组卷网app上创建班级。打开组卷
1 点击开始游戏；2 打开后，继续点击本地联机；3 找到房间，点击开启局域网；4 然后点击右上角的分享；5 最后找到想要邀请的好友，点击邀请，好友同意后就可以进入自己创建的房间。详
头号禁区山城钥匙怎么获取？在游戏中有许多优质的资源，而这些资源基本上都在上锁的房间里面。一旦在打开之后就可以获得金币箱，高级物资，还有稀有的武器配件，但玩家就需要先获取头号禁区山城
波波浏览器已保存密码需通过身份验证才能查看明文：一、在设置→隐私与安全→已保存的密码中验证后点击眼睛图标显示；二、在已填充登录页点击密码框右侧眼睛图标并验证后实时显示；三、确保密码