Meta 近期正式推出新一代开源模型系列 Llama 3.1，其中最受瞩目的当属具备 405B 参数的旗舰版本——它在多项基准测试中的表现已逼近甚至超越 GPT-4 等闭源模型。不过，今天的主角并非巨无霸，而是同系列中的“小身材”选手：Llama 3.1-8B-Instruct。这款 8B 参数的轻量级模型虽然体量小巧，却支持英语、德语、法语、意大利语、葡萄牙语、西班牙语、印地语和泰语，上下文长度高达 131072 tokens，知识截止日期也更新至 2023 年 12 月。从参数规模来看，它属于精巧高效的类型，但实际能力相当出众。

为提升 8B 模型的表现，Meta 在训练中使用了超过 2500 万条合成数据——这些数据全部由更大的 405B 模型生成。得益于这样“名师”级别的指导，Llama 3.1-8B-Instruct 在代码编写、数学推理等任务上的表现足以与 GPT-3.5 Turbo 一较高下，其认知与推理能力已相当接近。

OpenBuddy 团队敏锐地抓住了这一契机，他们在 Llama 3.1-8B-Instruct 的基础上，仅通过少量中文数据进行微调训练，推出了 OpenBuddy-Llama3.1-8B-v22.1-131K。这款开源模型具备中文问答与跨语言翻译能力。值得注意的是，虽然 Llama 3.1 本身完全不懂中文，但经过微调之后，该模型在面对一些容易产生概念混淆的问题时，竟然能生成通常只有更大规模模型才能给出的答案——这表明它的认知潜力已被充分激发。

当然，受限于训练数据集的大小与时长，OpenBuddy-Llama3.1-8B-v22.1 在中文知识，尤其是传统文化知识方面，仍存在一定不足。不过，该模型在长文本理解这类任务上表现得相当稳定，这主要归功于其原生具备的长上下文处理能力。

展望未来，OpenBuddy 计划对 8B 和 70B 模型进行更大规模训练，进一步丰富中文知识储备、强化长文理解能力与认知水平，同时也在积极探索对 405B 模型进行微调的可能性。如果这一路线成功实现，开源中文大模型的发展格局或将迎来新一轮升级。