训练集准确率高但测试集差？别慌，这是泛化问题在敲门
模型在训练集上表现优异，一到测试集就“翻车”，这几乎是每个深度学习实践者都会遇到的经典困境。问题往往不在于模型不够复杂，而在于它“学得太好”——过度拟合了训练数据中的噪声和特定模式。解决之道，远不止是简单地堆砌技术。
为什么加了 L2 正则化 weight_decay 还过拟合？
这里有个常见的误解：以为在代码里加上 weight_decay 参数，就等于给模型套上了“防过拟合”金钟罩。事实并非如此。L2正则化仅在优化器步骤中生效，而且数值设置是否合理，直接决定了它是“良药”还是“毒药”。一个典型错误是，在使用 nn.CrossEntropyLoss() 时，误以为损失函数本身包含了正则项；另一个陷阱是把 weight_decay 设得过大（比如 1e-2），这反而会过度惩罚权重，导致模型难以学习有效的特征，训练收敛缓慢。
- 关键一步：
weight_decay参数必须传递给优化器（如torch.optim.Adam或torch.optim.SGD），仅仅在模型定义里设置是无效的。 - 数值范围有讲究：一个安全且通用的起始值范围是
1e-4到5e-4。在图像分类等任务中，超过1e-3的权重衰减值往往弊大于利。 - 注意默认行为：PyTorch 的
weight_decay默认会对所有参数（包括 bias 和 BatchNorm 层的参数）生效。如果希望排除某些参数（通常推荐排除 bias 和 BN 参数），需要使用参数分组功能。
optimizer = torch.optim.Adam([
{'params': model.backbone.parameters(), 'weight_decay': 1e-4},
{'params': model.classifier.parameters(), 'weight_decay': 0} # 分类头可不正则
], lr=1e-3)
数据增强怎么加才不引入泄漏或失真？
数据增强并非“多多益善”，其核心原则在于与测试场景相匹配。否则，可能适得其反。举个例子，如果在训练时加入了 ±90° 的随机旋转，但测试图片全部是正立的文字，模型学到的空间表征可能就是歪曲的。再比如，对医学灰度图像滥用色彩抖动（ColorJitter），反而会破坏其固有的判别性特征。
- 对于通用图像分类任务，可以尝试这样的组合：
RandomHorizontalFlip（适用于对称物体）、RandomResizedCrop（迫使模型关注局部而非全局）、以及自动化增强策略如AutoAugment或RandAugment（它们通常比手动组合的策略更鲁棒）。 - 必须警惕数据泄漏：在验证集和测试集的
Dataset中，除了必要的ToTensor和标准化（Normalize），应避免使用任何随机性变换。 - 可视化检查：增强后，务必随机查看几张样本图片，确保标签与图像内容依然对应正确，尤其是在处理带有边界框或分割掩码的任务时。
train_transform = transforms.Compose([
transforms.RandomResizedCrop(224, scale=(0.8, 1.0)),
transforms.RandomHorizontalFlip(),
transforms.RandAugment(num_ops=2, magnitude=9),
transforms.ToTensor(),
transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225])
])
验证集准确率上不去？先检查这三个地方
当训练集准确率高而测试集差时，验证集的表现才是我们调整超参数的真实依据。如果连验证集的指标都停滞不前，那问题很可能不是过拟合，而是训练流程本身存在缺陷。
- 首先，确认数据源：验证集和测试集必须来自同一数据分布。例如，用 ImageNet 训练和验证，却用一个自爬的、分布不同的图片集做测试，那么性能差距并不能单纯归咎于过拟合。
- 其次，检查模型模式：是否忘记了调用
model.eval()？这在使用了 Dropout 或 BatchNorm 的模型中尤为关键。在训练模式下，BN 层使用当前批次的统计量；而在评估模式下，它才会使用训练过程中累积的运行均值和方差。 - 最后，审视验证流程：验证阶段是否无意中混入了训练时的数据增强？例如，在
val_loader的Dataset中使用了RandomCrop，会导致每次评估同一张图片时得到不同的裁剪，从而引起指标剧烈波动，失去参考价值。
WeightDecay + 数据增强还不够？试试 EarlyStopping + 学习率预热
有时，仅仅增加正则化和数据增强，只是将过拟合的发生点向后推迟，并未从根本上解决问题。要稳定提升模型的泛化能力，还需要训练策略的配合。
立即学习“Python免费学习笔记（深入）”；
- 早停法（EarlyStopping）的监控目标：建议监控验证损失（
val_loss），而非验证准确率（val_acc）。因为准确率在后期容易进入平台期，变化不敏感，而损失函数对模型性能的细微退化更为敏锐。 - 学习率预热（Warmup）的作用：对于使用大批次（large batch）或大型模型的情况，预热能缓解训练初期梯度的不稳定性，避免模型过早地“记住”噪声。使用
torch.optim.lr_scheduler.LinearLR可以轻松实现线性预热。 - 模型保存的智慧：记得保存的是在验证集上表现最佳的模型状态（
torch.sa ve(model.state_dict(), ...)），而不是最后一个训练周期的模型。
scheduler = torch.optim.lr_scheduler.SequentialLR(
optimizer,
schedulers=[
torch.optim.lr_scheduler.LinearLR(optimizer, start_factor=0.01, total_iters=500),
torch.optim.lr_scheduler.CosineAnnealingLR(optimizer, T_max=total_epochs-500)
],
milestones=[500])
在实际调参过程中，weight_decay 的强度和数据增强的强度需要协同调整——增强力度强时，正则化可以适当减弱；反之亦然。而最容易被忽视的一点，往往是验证逻辑本身是否“干净”。许多所谓的“过拟合”现象，其根源其实是验证流程被污染所导致的假象。
