本次查询：数据配比
中文解释：数据配比
常见场景：大模型预训练 / 指令微调 / 多模态模型训练 / 数据去偏 / 联邦学习
一句话解释
数据配比就是科学家为模型制作“营养餐”时，决定每种食材（数据）放多少。比如训练一个智能客服，用户咨询记录占60%、产品文档占30%、历史投诉数据占10%。
为什么会被关注
随着模型规模越来越大，训练数据动辄万亿 token，简单堆砌数据不再有效。2023年以来，多家机构发现，即使数据总量相同，不同的配比会导致模型在知识问答、代码生成或安全性上产生巨大差异，配比不当还可能引入偏见。
另一个现实原因是数据成本：高质量人工标注数据稀缺昂贵，如何用少量优质数据撬动更大效果成为关键。数据配比从“工程技巧”升级为决定模型能力上限的核心方法。
核心逻辑
数据配比本质是解决“数据分布与任务目标”的匹配问题。模型在学习时，如果某个类型的数据占比过高，就会过度适应这些模式，导致对其他任务泛化变差。反之，如果关键领域数据不足，模型会表现平庸。
常用的配比策略包括：基于困惑度（perplexity）的动态调整、按数据质量设定采样权重、以及利用课程学习从简单样本逐步过渡到复杂样本。最终目的是让模型在测试集上的 Loss 最小化。
常见场景
大语言模型预训练中，往往将网页文本、书籍、代码、数学推理数据按经验比例混合，如需提升推理能力则增加数学数据权重。多模态训练中，图像、文本、语音数据的比例会直接影响跨模态理解效果。
微调场景下，指令数据与通用对话数据的配比决定了模型是更听话还是更健谈。对于垂直领域，如医疗问答模型，需要将临床病历、医学论文、患者问询按特定比例混合以防止模型输出偏见。
容易混淆的点
数据配比≠数据采样。采样是在已有数据集中随机选取，而配比是主动控制各类数据的相对频率，属于更高级的数据工程。很多人误以为只要数据量够大就能解决问题，实际上配比不当会导致“数据污染”或“模型能力偏科”。
另一个误区是认为配比可以一成不变。实践中最佳配比会随着训练阶段变化，需要动态调整。此外，数据配比与数据质量评估密不可分——低质数据即使比例正确也可能拖累模型。