本次查询：Continuous Pretraining
中文解释：持续预训练
常见场景：大语言模型开发与领域适配
一句话解释
持续预训练是指在已经完成通用预训练的大语言模型上，用特定领域（如医疗、法律、金融）的文本数据继续训练，让模型掌握该领域的知识和表达习惯。
为什么会被关注
通用大模型虽然知识广博，但在专业领域表现往往不够精准。持续预训练能以较低成本让模型深度适配特定业务，避免从零训练数万亿token的巨额开销。
企业或研究机构只需准备几十GB到几TB的领域数据，就能显著提升模型在细分任务上的能力。这种“站在巨人肩膀上”的策略正在成为行业主流。
核心逻辑
持续预训练的核心是在原始预训练损失函数的基础上，继续优化模型参数，但学习率通常调低至原始预训练阶段的1/10到1/100，防止破坏已有通用知识。
数据来源需经过严格清洗，确保领域数据的质量与多样性。训练过程中常混合少量通用语料以维持模型的泛化能力，避免灾难性遗忘。
常见场景
医疗领域：将大量医学论文、病历、临床指南持续预训练进模型，使其能理解专业术语并给出诊断建议。金融领域：用财报、研报和监管文件训练，提升模型在风控和投研中的表现。
法律领域：用法规条文、判例数据持续预训练，让模型更准确地解读合同和提供法律咨询。企业私有化部署：在客户内部文档上持续预训练，打造专属知识库助手。
容易混淆的点
持续预训练与指令微调容易混淆：前者目标是提升模型对领域知识的理解，后者是让模型学会遵循指令格式。两者可先后使用，但作用不同。
持续预训练也不同于增量预训练。增量预训练多指在原有训练数据上继续训练以更新知识时效性，而持续预训练更强调数据领域的迁移。实际应用中两者界限模糊，常被混用。