游乐游手机版
首页/AI热点日报/热点详情

人团队成功微调首个Llama 3.1 405B模型

类型:热点整理2026-07-05
一个仅10人的小团队成功微调出基于Llama3 1405B的Hermes3模型。该模型在FP8量化后性能依然强劲,支持单节点运行,具备长期对话、智能体能力和透明决策输出,经历监督微调与直接偏好优化两阶段训练。

先来分享一个耐人寻味的发现:一支仅有10人的微型团队,竟敢于正面挑战Meta这样的科技巨头。放在其他行业,这几乎像天方夜谭,但在人工智能领域,这个场景已然成为现实。

这支名为Nous Research的团队,刚刚发布了一款重磅力作——Hermes 3。别看团队规模小得惊人,他们绝非新手。基于Llama 3.1 405B模型微调而成的这款模型,背后是一群已经在Mistral、Yi、Llama等多个开源模型上证明过实力的资深开发者。他们的模型累计下载量已突破3300万次,这个数字本身就足以说明一切。

小而强悍!10人团队炼出首个微调Llama 3.1 405B

Hermes 3最令人惊喜的地方在于:即便经过FP8量化处理后,它的性能依然保持了令人惊叹的强劲水准。这种优化不仅显著降低了对VRAM和磁盘空间的需求,更关键的是——它能够在单个节点上流畅运行。对开发者而言,这背后的意义不言自明。

在对话能力方面,Hermes 3几乎称得上是一款全能型模型。长期记忆、多轮交互、角色扮演、内部独白——这些基础能力它都表现得相当扎实。借助Llama 3.1提供的128K上下文窗口,它在维持对话连贯性方面展现出了一位经验丰富交谈者的素养,不会出现轻易“断片”的尴尬。

然而,Hermes 3的本领远不止于此。它展示了一系列超越传统语言建模的独特能力——能以极其精细的方式理解和评估自身生成的文本质量。换言之,它不仅善于表达,还能像一位挑剔的编辑一样,对自己的输出进行精准评判。

更值得关注的是,Hermes 3集成了多项智能体能力:结构化输出、输出中间推理步骤、生成内部独白以实现透明化决策。这些术语听起来可能有些抽象,但实际效果相当于给AI装上了一颗“透明大脑”——你能清楚地看到它是如何一步步得出结论的,而不是面对一个不可知的黑箱。

谈及训练过程,Hermes 3经历了两阶段的“魔鬼式训练”:监督微调(SFT)加直接偏好优化(DPO)。团队整整耗费了5个月时间,用于筛选和构建SFT数据集。这种耐心与专注,在如今一切追求“快”的环境中,确实显得弥足珍贵。

再回过头来看这家公司本身。Nous Research成立于2023年,总部设在纽约,自称“私人应用研究小组”。从成立之初,他们就矢志不渝地相信开源的力量。公司的口号也十分直白:“我们挑战封闭技术永远占据创新顶峰的假设,相反,我们提供强大的开源代码。”这听起来颇有几分AI界“蛮族入侵者”的味道,带着一股不服输的韧劲。

一组数字足以说明他们的效率:短短一年多时间,Nous Research已发布了5个数据集和89个模型。如此高产背后,似乎在传递一个清晰的信息——在这个领域,团队规模从来不是决定性因素,真正的实力才是一切。

来源:https://www.1ai.net/18152.html

相关热点

继续查看同栏目近期热点。

延伸阅读

补充最近整理过的热点入口。