Yann LeCun谈大模型未来路径:多模态预训练是关键

免费影视、动漫、音乐、游戏、小说资源长期稳定更新! 👉 点此立即查看 👈
机器之心编辑部
在基础模型时代,大模型各项能力的爆发式增长,很大程度上得益于海量文本的预训练。但问题在于,文本本质只是人类对现实世界的一种抽象表达,是对真实世界信息的有损压缩。
借柏拉图《洞穴寓言》的比喻来说:语言模型早已非常擅长描述洞穴墙壁上的影子,却从未真正看到过投射这些影子的实体。它们能够很好地捕捉符号,却难以理解物理世界中高保真的物理规律、几何结构以及因果关系。
除了这种哲学层面的局限,还面临一个更现实的天花板:高质量的文本数据是有限的,并且正逐渐接近枯竭。
相比之下,视觉世界拥有近乎无限的信号来源。那些洞穴之外的信息,记录着现实世界最原始的动态变化,而这些恰恰是语言所无法完整表达的。
因此,未来的发展路径需要走出“影子世界”,直接去建模现实本身。
为此,来自Meta与纽约大学的研究者们转向了统一的多模态预训练:不再将视觉信号视作一种辅助输入,而是将其与语言一样,视为模型中的一等公民。

论文标题:Beyond Language Modeling: An Exploration of Multimodal Pretraining
相关攻略
IT之家 3 月 28 日消息,科技媒体 The Decoder 昨日(3 月 27 日)发布博文,报道称 Meta 基础人工智能研究团队(FAIR)开源全新 AI 模型 TRIBE v2,可精准预
编辑|杜伟就在 27 日下午,在火热进行中的 2026 中关村论坛上,一家国产头部 AI 厂商引爆了全场!昆仑万维,这家 2024 年便已「All in AGI 与 AIGC」的实力玩家,亮出了其实
人人都在卷多模态,可多模态之后呢?直到今天,终于有人给出了清晰答案——而且是刚刚把多模态卷到全球第一梯队的国产玩家。不是更强的模型,而是平台。更关键的是,这个判断并非来自一次普通发布,而是出现在中关
来源:环球网【环球网科技综合报道】3月27日,在中关村论坛“全球对话”活动现场,由北京中关村学院与中关村人工智能研究院孵化的具身智能企业深度机智,正式发布PhysBrain 1 0具身通用智能基座模
AI正在从“能计算”走向“会决策”,而记忆是这场跃迁的关键。企业AI落地遭遇的困境正在变得清晰。数据分散在表格、PDF、音视频等载体中,系统无法形成连贯认知。高管分析项目风险时,模型找不到历史问题与
热门专题
热门推荐
3月28日消息,中国联通近日发布2025年度业绩报告,在网络建设领域交出亮眼答卷。中国联通表示,公司持续落实信号升格、宽带升级相关举措,目前近九成宽带已具备千兆接入能力,万兆光网更在全国100多个城
163邮箱个人版登录入口为https: mail 163 com,支持网页及手机浏览器直接访问,提供手机号、邮箱账号、扫码三种登录方式,界面简洁,功能齐全,适配多终端使用。163
在冒泡社区中,设置键盘能为用户带来更便捷、舒适的操作体验。以下是详细的设置方法。首先,打开冒泡社区应用程序。进入社区主界面后,找到屏幕上的设置选项。这通常可以在界面的某个角落,以一
一场谎言的终幕是崩坏星穹铁道中4 1版本的新光锥之一,其属性可以提高装备的暴击率,下面小编就为大家带来《崩坏:星穹铁道》一场谎言的终幕光锥效果一览,不清楚的一起来看看吧。《崩坏:星
2026年3月28日中午12时整,由腾讯视频全网独播的古装奇幻剧《白日提灯》准时上线。该剧开播前预约人数高达674万人次,被平台力推为“年度古偶扛鼎之作”,然而仅播出六小时后,口碑便急速崩塌,引发全





