基于最新消息,Llama 3.1 已确认泄露,这一事件在 Reddit 社区引发广泛热议。
当一款拥有 4050 亿参数的开源大模型进入公众视野,意味着什么?它可能是迄今最接近 GPT-4o 的开源模型,甚至在多个维度实现反超。
Llama 3.1 来自 Meta(原 Facebook)。尽管官方尚未正式发布,泄露版本已在社区中引起巨大波澜。本次流出内容不仅包含基础模型,还附带 8B、70B 以及最大参数 405B 三个版本的基准测试结果。
性能对比:Llama 3.1 全面超越 GPT-4o
从泄露的对比数据来看,即使是 70B 版本的 Llama 3.1,已在多项基准测试中超过 GPT-4o。这不是 PPT 上的噱头,而是真实跑出的数据,是开源社区响亮的号角。
要知道,这是开源模型首次在多个 benchmark 上达到 SOTA(最先进技术)水平。这好比回顾一场拳击赛的录像——原本人们认为闭源大模型锁死了上限,结果开源选手精准击中 GPT-4o,且绝非偶然。
模型亮点:15T tokens 训练数据与多语言支持
Llama 3.1 的训练数据规模达到 15T+ tokens,全部来自公开来源,预训练数据截止至 2023 年 12 月。这意味着它的知识时效性相当出色。
更值得关注的是,该模型不仅支持英语。根据泄露信息,它还覆盖法语、德语、印地语、意大利语、葡萄牙语、西班牙语和泰语。这种多语言能力使其在跨语言对话场景下表现优异。
研究团队在安全性方面也投入了大量精力。他们采用多维度数据收集方法,结合人工数据与合成数据,以降低潜在风险。同时引入边界 prompt 与对抗性 prompt,强化数据质量控制。对于大模型落地而言,安全不是可选项,而是必需品。Llama 3.1 在这一方向的布局值得深入关注。
最后需要强调:开源的力量,有时真不能被轻易低估。当 4050 亿参数的巨兽携 15T tokens 训练数据与 SOTA 级别成绩浮出水面时,整个 AI 格局或将迎来又一次重塑。
