本次查询:Curriculum Learning
中文解释:课程学习
常见场景:自然语言处理 / 计算机视觉 / 强化学习
一句话解释
Curriculum Learning是一种机器学习训练方法,它模仿人类学习过程,先让模型学习简单样本,再逐步引入更难样本,从而帮助模型更好地收敛并提高最终准确率。
为什么会被关注
传统训练中样本随机打乱,模型可能一开始就遇到复杂样本,导致梯度不稳定或收敛缓慢。课程学习通过控制学习顺序,能显著减少训练时间,提升模型在困难样本上的表现。尤其在数据质量参差不齐、任务分层明显的场景下,效果尤为突出。
核心逻辑
核心思想是基于样本难度排序,构建一个由易到难的训练课程。难度可以由人工定义(如句子长度、图像模糊度)或由模型自动评估。训练初期只使用简单样本,随着模型能力增强,逐步加入更复杂样本,最终覆盖全部数据。这种渐进偏移避免了模型过早陷入局部最优。
常见场景
在机器翻译中,先训练短句再训练长句;在图像识别中,先从清晰图像过渡到遮挡图像;在强化学习中,先让智能体在简单环境探索,再挑战困难环境。此外,预训练-微调范式中也常利用课程学习安排预训练阶段的数据顺序。
容易混淆的点
课程学习与主动学习不同:前者固定课程顺序,后者动态选择对模型最有价值的样本。与课程生成(Curriculum Generation)也不同:课程学习关注样本排序,课程生成关注自动生成难度递增的任务。还需注意它与迁移学习的区别:迁移学习跨任务转移知识,课程学习数据顺序优化。
