12月3日,商汤科技正式发布并开源了与南洋理工大学S-Lab合作研发的全新多模态模型架构——NEO,为新一代SenseNova多模态模型奠定了新一代架构的基石。

据了解,NEO架构从底层原理出发,采用“专为多模态而生”的创新设计,通过核心架构层面的多模态深层融合,实现了性能、效率和通用性的整体突破。
此次,商汤彻底摒弃了传统的模块化结构,从底层原理出发,推出了从零设计的NEO原生架构。NEO架构通过在注意力机制、位置编码和语义映射三个关键维度的底层创新,让模型具备了统一处理视觉与语言的能力。
据悉,配合创新的Pre-Buffer & Post-LLM双阶段融合训练策略,NEO能够在吸收原始LLM完整语言推理能力的同时,从零构建强大的视觉感知能力,彻底解决传统跨模态训练中语言能力受损的难题。
目前,商汤已正式开源基于NEO架构的2B与9B两种规格模型,以推动开源社区在原生多模态架构上的创新与应用。
