我国首个大模型成果登上《自然》封面背后的突破
本讯(记者 雷嘉)近日,由北京智源人工智能研究院主导的一项多模态大模型研究成果,在国际顶级学术期刊《自然》官网正式上线,并将于2月12日在纸质版正式刊发。这是我国科研机构主导的大模型成果,首次在《自然》正刊上发表。
免费影视、动漫、音乐、游戏、小说资源长期稳定更新! 👉 点此立即查看 👈
自2018年以来,GPT模型采用的“预测下一个词元”自回归范式,引领了语言大模型的重大突破,开启了生成式人工智能的发展浪潮。然而,多模态模型通常依赖对比学习、扩散模型等专门技术路径,自回归方式能否作为一种通用路线来统一处理多模态数据,一直是业界探索的焦点。
智源研究院提出的Emu模型,基于“预测下一个词元”的核心思想,构建了全新的多模态架构。该模型将图像、文本和视频数据统一离散化到同一个表示空间中,并从一开始就直接在混合的多模态序列数据上,联合训练一个单一的Transformer。这一架构证明了,仅凭“预测下一个词元”这一目标,就能让模型同时具备高水平的生成能力与理解能力。此外,在此统一框架下,模型的能力还能自然地扩展到机器人操作以及多模态交互等生成任务。
实验结果表明,Emu在生成与感知任务上的整体表现,足以媲美多种成熟的专用模型:在文生图任务中,其效果达到扩散模型的水平;在视觉语言理解方面,可以与融合了CLIP与大语言模型的主流方案相匹敌。同时,Emu还具备视频生成能力。与以噪声为起点的扩散式视频生成模型不同,Emu通过自回归方式逐词元预测视频序列,实现了基于因果关系的视频生成与延续,展现出对物理世界中环境、人类与动物行为的初步模拟能力。
这项成果表明,仅采用自回归这一条路线,就可以统一多模态学习,训练出卓越的原生多模态大模型。这对于确立自回归成为生成式人工智能的统一技术路线,具有重大意义。值得一提的是,智源研究团队已将相关研究的多项关键技术及模型进行了开源,以推动该方向的持续研究与生态发展。
《自然》编辑在点评这项研究时指出:Emu仅基于预测下一个词元,就实现了大规模文本、图像和视频的统一学习,其在生成与感知任务上的性能与使用专门路径的模型相当。这一成果对于构建可扩展、统一的多模态智能系统意义重大。
相关攻略
贺思慕一开始就对段胥充满怀疑,看他哪哪都很奇怪有问题。但又敢凑在他跟前,也敢信任他,帮助他。一个原因是她自己就很厉害,根本不怕他会对她不利。另一个原因也是她懂得洞察人,识人这一块,她一个活了几百年的
新华社北京3月29日电 专访|中国“十五五”有科技雄心,更有实现途径——访英国《自然》杂志总编辑斯基珀 新华社记者黄堃 吕岩昊 “这为中国科技发展树立了很好的雄心,并且重要的是,还提供了实现
李相如摄。罕见病是生命科学和医学研究的天花板,在这一领域中存在太多未知。2月28日,恰逢世界罕见病日,医学循证推理智能体前沿技术论坛暨DeepRare成果发布会在上海交通大学徐汇校区人工智能学院举
马年新春,两项重磅科研成果在同一天(2月19日)登上国际顶级期刊nature(《自然》)。2月27日,上海交通大学医学院举行近期服务国家重大战略科研成果新闻通气会,发布这两项成果。它们分别聚焦人工
新春佳节之际,中国人工智能与医学交叉领域迎来重磅突破:北京时间2月19日凌晨,国际顶级学术期刊《自然》(Nature)在线刊发上海交通大学医学院附属新华医院孙锟教授、余永国教授领衔团队与上海交通大学
热门专题
热门推荐
Clusterly AI是什么 在内容创作领域,效率和质量常常难以兼得,而一款名为Clusterly AI的工具,正试图打破这个僵局。它由Clusterly公司开发,本质上是一个专为提升在线可见性而生的智能内容引擎。无论是内容创作者、独立博主,还是企业营销团队,都可以借助它快速生产出那些搜索引擎青睐
海尔燃气热水器Wi-Fi连接失败?别慌,这通常不是机器故障 当您发现海尔燃气热水器无法连接Wi-Fi时,请不要急于联系售后维修。根据海尔官方技术报告与售后大数据分析,超过90%的联网问题并非热水器硬件损坏,而是由于网络配置步骤存在疏漏,或家庭无线网络环境未满足设备接入的特定要求。只要您能准确识别并避
Ellmo Genzers是什么 说起企业级的AI应用工具,现在市面上选择不少,但真正能把数据安全、功能实用和多语言支持这三件事同时做好的,其实并不多。今天要聊的Ellmo Genzers,就是由GenZ Technologies推出的一款专为组织设计的语言模型操作平台。它的目标很明确:帮助企业安全
在第139届广交会的展馆内 浙江诺特电器创始人汪和平的展位,面积不过十平方米,却总是围满了人。他正用一台双屏翻译机,和一位印度客商流畅地交流着产品细节。这位在饮水机外贸行业摸爬滚打了二十多年的企业家,早已习惯用科技工具打破沟通壁垒,再用差异化的产品,牢牢抓住全球采购商的目光。 时间拉回到2004年,
松下按摩椅究竟是泰国制造还是马来西亚生产? 首先明确核心信息:松下按摩椅的主要生产基地在泰国,同时马来西亚工厂也承担部分型号的区域化组装任务。根据松下电器官方公布的全球制造布局,其东南亚地区的核心产能确实集中于泰国工厂。该生产基地自2010年代初期投入运营以来,一直负责中高端按摩椅系列的研发试制与批





