本次查询:Transfer Learning
中文解释:迁移学习
常见场景:机器学习模型训练
一句话解释
迁移学习是指将在一个任务上训练好的模型(或知识)迁移到另一个相关任务上,从而在新任务上快速取得良好表现的方法。简单说,就是让AI模型学会“举一反三”。
为什么会被关注
现实场景中,为每个新任务从头收集大量标注数据既昂贵又耗时,而迁移学习允许利用在大规模通用数据上训练好的模型(如ResNet、BERT),只需少量新数据就能适配。这大幅降低了AI落地门槛,节省算力开销,成为许多工业应用的基石。
核心逻辑
迁移学习的核心是“预训练+微调”。首先在数据丰富的源任务上训练一个基础模型,使其掌握通用特征提取能力。然后在目标任务上,冻结部分底层网络,用少量新数据微调高层参数,使模型适应新输出分布。这种保留低层通用特征、调整高层专用特征的设计,有效避免了从头训练的过拟合和计算浪费。
常见场景
图像识别中,常用ImageNet预训练模型微调医学影像或卫星图片分类。自然语言处理里,BERT、GPT等预训练模型经微调用于情感分析、问答系统。推荐系统中,跨域迁移用户兴趣至新商品。语音识别领域,多语言迁移让模型快速适配小语种。这些场景都受益于迁移学习带来的效率提升。
容易混淆的点
迁移学习常与多任务学习混淆:后者同时训练多个任务共享参数,而迁移学习是先完成一个任务再应用到另一个。领域自适应是迁移学习的子集,特指源域与目标域分布不同时的知识迁移,但迁移学习概念更广,还包括任务、标签空间的迁移。另外,微调是迁移学习的常用手段,并非唯一方式,直接特征提取或知识蒸馏也属迁移学习范畴。
