本次查询：Self-Supervised Learning
中文解释：自监督学习
常见场景：预训练大模型 / 计算机视觉 / 自然语言处理 / 多模态学习 / 无标注数据场景
一句话解释
自监督学习是一种让AI模型自己给自己制造“练习题”的训练方式。模型从原始数据中提取部分信息作为输入，并预测另一部分缺失或变换后的信息，从而在不依赖人工标注的情况下学到有用的特征。
例如，在一张图片中盖住一部分，让模型根据周围像素预测被遮住的内容；或者在句子中随机挖掉一个词，让模型根据上下文补全。这些“自问自答”的过程就构成了自监督学习的基本逻辑。
为什么会被关注
传统监督学习需要大量人工标注的数据，成本高且难以覆盖所有场景。自监督学习可以直接利用海量未标注的互联网文本、图像和视频，大幅降低了AI应用的准入门槛。
以BERT、GPT为代表的大语言模型正是依靠自监督学习（如掩码语言模型、自回归预测）在千亿级文本上预训练，才具备了强大的通用语言理解能力。这也让自监督学习成为当前AI领域最核心的技术方向之一。
核心逻辑
自监督学习的核心是设计一个“代理任务”（proxy task）。模型需要从输入数据中提取有用的表示，才能完成这个任务。常见的代理任务包括：预测被遮挡的部分、判断两个片段是否相邻、区分不同数据增强后的样本是否来自同一原始数据等。
通过在这些代理任务上训练，模型被迫学习到数据中的统计规律和结构信息。训练完成后，模型学到的表征（embedding）可以直接用于下游任务（如分类、匹配），仅需少量标注数据微调即可达到很好的效果。
常见场景
在自然语言处理中，最典型的应用是掩码语言模型（如BERT的Masked LM）和因果语言模型（如GPT的Next Token Prediction）。它们让模型在大量无标注文本上学习词汇、语法和常识。
在计算机视觉中，常用方法包括对比学习（如SimCLR、MoCo）和掩码图像建模（如MAE）。模型通过比较不同增强视图的相似性，或者预测被遮罩的图像块，来学习视觉特征。这些技术已被用于自动驾驶、医学影像分析等领域。
容易混淆的点
自监督学习 ≠ 无监督学习。无监督学习通常指聚类、降维等不利用任何标签信息的方法，而自监督学习虽然不依赖人工标签，但会构造出“伪标签”（即代理任务的目标），本质上仍是一种有目标的学习。
自监督学习 ≠ 预训练。预训练是一个更宽泛的概念，包括监督预训练、自监督预训练等。自监督学习是当前主流预训练方式，但并非唯一方式。另外，“对比学习”是自监督学习的一种重要范式，不能等同。