小型语言模型（SLM）近期热度持续攀升。众多厂商纷纷推出适配手机等轻量设备的端侧模型，而本周 Hugging Face 也正式发布了旗下 SmolLM 系列——包含 1.35 亿、3.6 亿和 17 亿参数三个版本。其核心目标非常明确：在终端设备上实现高效运行，并保证出色的性能表现。
据官方介绍，SmolLM 系列模型采用经过精心筛选的高质量训练数据集，在 Python 编程任务上展现出卓越性能。更值得关注的是，开发团队重点优化了模型运行时的内存占用——即使是在仅有 6GB RAM 的 iPhone 15 上，也能流畅执行。简而言之，这一系列模型旨在将大型语言模型的能力高效压缩至小型设备中。
训练过程同样值得深入探讨。Hugging Face 团队首先构建了一个名为 SmolLM-Corpus 的自研数据集，该数据集融合了三种类型的内容：Python 编程教学材料 Python-Edu、Web 教育内容 FineWeb-Edu，以及通过 Mixtral-8x7B-Instruct-v0.1 和 Cosmopedia v2 两个模型生成的常识性知识。整个数据集的总 token 量高达 6000 亿。随后，团队利用这一数据集对 SmolLM 系列模型进行训练。
基准测试成绩是衡量模型实力的硬性指标。SmolLM-135M 在所有参数规模低于 2 亿的模型中表现领先；SmolLM-360M 则击败了所有 5 亿参数以下的竞品——不过在某些测试项目上不敌 Meta 刚发布的 MobileLLM-350M，这一结果需要客观看待。而最大的 SmolLM-1.7B 表现最为强劲，直接超越了所有 20 亿参数以下的模型，包括微软的 Phi-1.5、MobileLLM-1.5B 以及 Qwen2。从数据来看，SmolLM 在轻量级模型领域确实站稳了脚跟。
