在数据科学项目中，采样是一项基础但至关重要的技术。选择合适的采样方法能够有效提升模型性能、减少偏差，并让分析结果更具代表性。本文将从简单的随机抽样开始，逐步介绍分层采样、水塘采样、随机欠采样与过采样，以及使用 imbalanced-learn 库进行高级重采样。每个方法都配有清晰的 Python 示例，并包含实用提示和常见问题解答。

简单随机抽样

简单随机抽样 假设您要选择一个群体的子集，其中该子集的每个成员被选择的概率都相等。下面我们从一个数据集中选择 100 个采样点：

sample_df = df.sample(100)

• 提示：sample() 默认采用不放回抽样。如果需要有放回抽样（允许重复选择），请设置参数 replace=True。

常见问题： 什么情况下适合使用简单随机抽样？

当总体中各成员特征相似，且你希望每个成员被选中的概率完全相等时，简单随机抽样是最直接的选择。例如，从一份无偏的客户列表中随机抽取满意度调查样本。

分层采样

假设我们需要估计选举中每个候选人的平均票数。现假设该国有 3 个城镇：A 镇有 100 万工人，B 镇有 200 万工人，以及 C 镇有 300 万退休人员。我们可以选择在整个人口中随机抽取一个 60 大小的样本，但在这些城镇中，随机样本可能不太平衡，因此会产生偏差，导致估计误差很大。相反，如果我们选择从 A、B 和 C 镇分别抽取 10、20 和 30 个随机样本，那么我们可以在总样本大小相同的情况下，产生较小的估计误差。

使用 Python 可以很容易地做到这一点：

from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(X, y, stratify=y, test_size=0.25)

• 提示：stratify=y 参数会根据 y 的类别比例进行分层抽样，确保训练集和测试集中各类别比例与原始数据一致。

常见问题： 分层采样与简单随机抽样相比有何优势？

当总体中存在明显的子群（层），且各层内部差异较小、层间差异较大时，分层采样能显著降低抽样误差。例如，在选举预测中，不同城镇的投票倾向差异很大，分层抽样可以使每个城镇的代表性更强。

水塘采样

我喜欢这个问题陈述：

假设您有一个项目流，它长度较大且未知以至于我们只能迭代一次。创建一个算法，从这个流中随机选择一个项目，这样每个项目都有相同的可能被选中。

我们怎么能做到这一点？假设我们必须从无限大的流中抽取 5 个对象，且每个元素被选中的概率都相等。

import random

def generator(max):
    number = 1
    while number < max:
        number += 1
        yield number

# Create as stream generator
stream = generator(10000)

# Doing Reservoir Sampling from the stream
k=5
reservoir = []
for i, element in enumerate(stream):
    if i+1 <= k:
        reservoir.append(element)
    else:
        probability = k/(i+1)
        if random.random() < probability:
            # Select item in stream and remove one of the k items already selected
            reservoir[random.choice(range(0,k))] = element

print(reservoir)
------------------------------------
[1369, 4108, 9986, 828, 5589]

从数学上可以证明，在样本中，流中每个元素被选中的概率相同。这是为什么呢？当涉及到数学问题时，从一个小问题开始思考总是有帮助的。所以，让我们考虑一个只有 3 个项目的流，我们必须保留其中 2 个。

• 当我们看到第一个项目，我们把它放在清单上，因为我们的水塘有空间。
• 在我们看到第二个项目时，我们把它放在列表中，因为我们的水塘还是有空间。
• 现在我们看到第三个项目。这里是事情开始变得有趣的地方。我们有 2/3 的概率将第三个项目放在清单中。

现在让我们看看第一个项目被选中的概率：

移除第一个项目的概率是项目 3 被选中的概率乘以项目 1 被随机选为水塘中 2 个要素的替代候选的概率。这个概率是：2/3 * 1/2 = 1/3。因此，选择项目 1 的概率为：1 – 1/3 = 2/3。

我们可以对第二个项目使用完全相同的参数，并且可以将其扩展到多个项目。因此，每个项目被选中的概率相同：2/3 或者用一般的公式表示为 K/N。

• 小提示：水塘采样非常适合处理无法一次性加载到内存的数据流，如实时日志或传感器数据。代码中的 k 为需要保留的样本数，流的总长度未知。

常见问题： 水塘采样能否用于有放回抽样？

标准水塘采样算法是不放回的，每个元素至多被选中一次。如果需要有放回，可以使用加权随机采样等其他方法。但在流式场景下，不放回水塘采样是最常用的。

随机欠采样和过采样

我们经常会遇到不平衡的数据集。一种广泛采用的处理高度不平衡数据集的技术称为重采样。它包括从多数类（欠采样）中删除样本或向少数类（过采样）中添加更多示例。

让我们先创建一些不平衡数据示例：

from sklearn.datasets import make_classification
X, y = make_classification(
    n_classes=2, class_sep=1.5,
    weights=[0.9, 0.1],
    n_informative=3, n_redundant=1,
    flip_y=0,
    n_features=20,
    n_clusters_per_class=1,
    n_samples=100,
    random_state=10
)

X = pd.DataFrame(X)
X['target'] = y

我们现在可以使用以下方法进行随机过采样和欠采样：

num_0 = len(X[X['target']==0])
num_1 = len(X[X['target']==1])
print(num_0,num_1)

# random undersample
undersampled_data = pd.concat([
    X[X['target']==0].sample(num_1),
    X[X['target']==1]
])
print(len(undersampled_data))

# random oversample
oversampled_data = pd.concat([
    X[X['target']==0],
    X[X['target']==1].sample(num_0, replace=True)
])
print(len(oversampled_data))
------------------------------------------------------------
OUTPUT:
90 10
20
180

• 提示：随机欠采样可能会丢失多数类中的重要信息，而随机过采样（重复少数类样本）可能导致过拟合。建议后续尝试更智能的重采样方法。

常见问题： 随机过采样中 replace=True 是什么意思？

replace=True 表示有放回抽样。当少数类样本数量不足时，通过重复抽取少数类样本来达到与多数类相同的数量。这会导致数据集中间出现重复样本，从而增加少数类的影响力，但也会引入一定程度的噪声。

使用 imbalanced-learn 进行欠采样和过采样

imbalanced-learn（imblearn）是一个用于解决不平衡数据集问题的 Python 包，它提供了多种方法来进行欠采样和过采样。

a. 使用 Tomek Links 进行欠采样

imbalanced-learn 提供的一种方法叫做 Tomek Links。Tomek Links 是邻近的两个相反类的例子。在这个算法中，我们最终从 Tomek Links 中删除了大多数元素，这为分类器提供了一个更好的决策边界。

from imblearn.under_sampling import TomekLinks

tl = TomekLinks(return_indices=True, ratio='majority')
X_tl, y_tl, id_tl = tl.fit_sample(X, y)

b. 使用 SMOTE 进行过采样

在 SMOTE（Synthetic Minority Oversampling Technique）中，我们在现有元素附近合并少数类的元素。

from imblearn.over_sampling import SMOTE

smote = SMOTE(ratio='minority')
X_sm, y_sm = smote.fit_sample(X, y)

• 提示：fit_sample 在较新版本中已更名为 fit_resample，建议使用最新 API。另外，imbLearn 包中还有许多其他方法，可以用于欠采样（Cluster Centroids, NearMiss 等）和过采样（ADASYN 和 bSMOTE）。

常见问题： SMOTE 与随机过采样有什么区别？

随机过采样只是简单复制少数类样本，而 SMOTE 通过插值生成新的合成样本，即基于少数类样本及其近邻生成新特征。这有助于缓解过拟合问题，但可能引入不真实的样本点。实际使用时建议交叉验证选择合适的过采样方法。

总结

采样是数据科学中不可忽视的一环，一个好的采样策略能大幅提升模型表现和结论的可靠性。从简单的随机抽样到应对不平衡数据的重采样，每种方法都有其适用场景。记住：错误的抽样策略可能会带来误导性的结果，因此在选择时务必结合数据特点与业务需求。希望本教程能帮助你更好地理解和应用这些采样技术。