SVM增量式训练：让经典算法焕发新活力

你是否以为SVM系列教程已经画上句号？远未结束。作为历经数十年沉淀、始终屹立于机器学习巅峰的经典算法，SVM凭借卓越的性能与深厚的理论根基，仍有许多值得深入探索的宝藏。

然而，许多使用者在实际应用SVM时都会遇到一个棘手难题：SVM原生仅支持一次性训练。这意味着，在训练一个SVM模型之前，你必须预先明确所有需要识别的类别或任务。模型一旦训练完成，就只能针对该特定任务输出结果。如果后续希望增加新的识别需求，很不幸，你需要重新构建一个同时包含旧任务与新任务的完整训练数据集。否则，SVM会“喜新厌旧”，只记住新任务而遗忘旧任务。

听起来是不是颇感繁琐？有人会问：“CNN就能支持增量学习，SVM为何不行？”为了让SVM这位大佬正名，今天这篇番外篇将分享一项实用技巧——利用支持向量实现SVM的增量式训练。直接上代码！

什么是增量学习？SVM为何需要特殊处理？

增量学习（Incremental Learning）指模型能够在已有知识的基础上，持续吸收新数据、学习新类别，而无需从零开始重新训练。对于SVM而言，其核心机制在于“支持向量”——训练完成后仅保留能代表全体数据的关键样本。这恰恰为增量学习提供了天然的优势。

我们只需提取旧模型中的支持向量，然后与新数据拼接在一起重新训练，即可让模型“记住”旧知识，同时掌握新知识。接下来，我们使用鸢尾花数据集来演示这一过程。

实战：基于OneClassSVM的增量式训练

1. 准备数据：将多分类转化为单分类任务

鸢尾花数据集共包含150个样本，分为3个类别，每个类别50个样本。我们将其设定为单分类场景：先让模型只识别第一类，再通过增量学习认识第二类。具体步骤如下：

• 取前50个样本（类别0）作为初始数据
• 用前30个样本训练，后20个样本测试

代码：训练第一个单分类模型

from sklearn import datasets
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.svm import OneClassSVM
from sklearn.metrics import accuracy_score
import numpy as np

# 加载数据集
iris = datasets.load_iris()
X = iris.data
y = iris.target

data_each = 50
X0 = X[:data_each]
y0 = y[:data_each]

# 构建支持向量机分类器
svm = OneClassSVM(kernel='rbf', nu=0.1)

# 在训练集上训练模型，选取前30组作为训练样本
svm.fit(X_train[:30])

# 在测试集上进行预测，选取后20组数据作为测试集
y_pred = svm.predict(X_train[30:])
print("ACC:  ", (y_pred == 1).sum() / len(y_pred))

小提示：nu=0.1 是OneClassSVM的重要参数，用于控制异常值比例（约等于训练样本中被视为异常的比例）。该值越小，模型对正常样本的约束越严格，需根据实际数据灵活调整。

2. 提取支持向量，拼接新数据

SVM的核心思想在于：支持向量是训练集中最能代表整体数据的“灵魂样本”。因此，我们只需保存这些支持向量，而无需保留全部原始数据。将它们与新数据拼接，即可构成增量学习的新训练集。

support_vector = svm.support_vectors_

# 拼接数据，将前一类别的支持向量与新数据结合
new_train_x = np.vstack([support_vector, X[data_each:2*data_each][:30]])

先查看第一个类别的支持向量数量：

print(support_vector.shape)  # 例如输出 (4, 4)

小提示：本例中第一个类别仅生成了4个支持向量（原始训练样本30个），说明这些向量已能有效代表整个类别的分布。支持向量数量通常远小于训练样本数，这正是SVM高效的关键所在。

3. 增量训练：用旧支持向量+新数据训练新模型

# 构建支持向量机分类器
svm = OneClassSVM(kernel='rbf', nu=0.1)
svm.fit(new_train_x)

# 在测试集上进行预测，拼接之前的数据集
y_pred = svm.predict(np.vstack([X0[30:], X[data_each:2*data_each][30:]]))
print("ACC:  ", (y_pred == 1).sum() / len(y_pred))

再次查看新的支持向量：

可以看到，新模型的支持向量在保留第一批4个向量的基础上，新增了针对第二个类别的支持向量，总数变为9个。同时，测试精度保持良好，说明增量学习成功应用。

原理总结：支持向量为何能代表全体数据？

SVM的训练过程本质上是寻找一个决策边界，而该边界仅由距离最近的样本（即支持向量）决定。远离边界的样本对决策毫无影响。因此，支持向量包含了类别边界的全部关键信息。只要保留它们，就相当于保留了整个数据集的“记忆”。在增量学习中，将旧支持向量与新数据合并重新训练，就能在不丢失旧知识的前提下学习新类别。

常见问题与解答

• 问题：如果新数据量很大，支持向量也会越来越多吗？是否会导致模型膨胀？
• 答案：是的，随着增量次数增加，支持向量会逐渐累积，但增长速度远慢于原始数据。SVM中支持向量数量通常仅占训练样本的一小部分（例如5%-20%）。此外，可通过设置参数nu或tol来控制支持向量规模。若担心膨胀，还可定期执行一次“裁剪”：用当前所有支持向量重新训练一次，通常能进一步减少冗余。

• 问题：增量训练后，模型的精度是否一定会保持或提升？
• 答案：不一定。如果新数据与旧数据分布差异极大（例如新类别在特征空间中被旧类别包围），单次增量可能引起混淆。此时建议采用更精细的策略，比如给旧支持向量赋予更高权重，或采用多分类OneClassSVM的集成方法。但在大多数同源数据场景下，增量训练效果非常接近全量训练。

• 问题：为什么使用OneClassSVM而不是标准SVM？
• 答案：OneClassSVM适用于“单类识别”任务（判断样本是否属于已知类别），非常适合增量场景中逐步添加类别的逻辑。标准SVM（如SVC）需要同时提供正负类样本，增量时处理更复杂。本例用OneClassSVM简化了演示，但核心原理（利用支持向量）同样适用于标准SVM的多类别增量学习。

结语

通过提取并复用支持向量，我们成功让SVM实现了类似深度学习中的增量学习能力。这不仅保留了SVM在小样本、高维数据上的优势，还克服了其无法逐步扩展类别的固有缺陷。下次当你需要为一个已部署的SVM模型添加新类别时，不妨试试这个技巧——让经典算法焕发新活力，使旧模型获得新生。