机器学习基本步骤详解_AI热点日报

机器学习基本步骤详解

类型：热点整理2026-07-21

机器学习基本步骤包括数据收集与预处理、数据集划分，以及模型选择、训练、评估与优化。以SVM为例，经典实现依赖传统计算机，量子SVM利用量子叠加态与纠缠特性，适用于小规模高维数据，两者各具优势。

# 机器学习的基本步骤及实现方式比较机器学习（Machine Learning）作为计算机科学与人工智能领域的关键分支，已成为大数据时代不可或缺的核心技术之一。它通过模拟人类的学习机制，从海量数据中挖掘规律，进而对未知数据做出精准预测。本教程将系统介绍机器学习的完整流程，涵盖数据准备、模型训练与评估等环节，并借助SVM算法案例，对比量子与经典两种实现方式的差异。 --- ## 1. 数据阶段数据被视为机器学习的“燃料”，缺乏高质量数据，再优秀的算法也难以发挥应有价值。数据阶段主要包括数据收集与预处理、数据集准备两个关键步骤。 ### 1.1 数据收集与预处理互联网每时每刻都在生成海量信息。当前数据采集技术已相当成熟，常见工具包括： - **Hadoop组件Flume**：适用于日志数据采集 - **Fluentd**：开源数据收集架构 - **Python爬虫框架Scrapy**：支持可定制化的网页数据采集 - **数据服务平台**：如百度统计、阿里云、八爪鱼等 > **小提示**：数据采集环节虽常被忽视，却决定了后续分析的根基。建议根据具体业务场景选择最合适的采集工具，并确保数据来源的合法合规。然而，原始数据通常存在以下问题：

数据不完整：缺失属性值或仅包含汇总信息
数据含噪声：包含错误或偏离预期的异常值
数据标签规则不一：分类标准不一致，导致数据无法归入同一类别

针对上述问题，需进行数据预处理，主要方法包括：

数据清洗：去除噪声与无关数据，补充缺失值
数据集成：将多个数据源合并至统一的数据存储（如数据仓库）中
数据规约：在保留数据完整性的前提下，对数据集进行简化表示，提升挖掘效率

### 1.2 数据集准备数据集准备是使用TensorFlow、Paddle Quantum等框架开展机器学习的基础。企业数据通常有固定渠道和清晰分类，只需将数据文件转换为机器学习可识别的格式即可。个人练习时，获取数据相对困难，可参考KDnuggets上的一篇文章，该文汇总了七十多个免费数据集（链接：http://t.cn/RQJhwSi）。经过预处理后的数据被构建为数据集。数据集通常分为三类：

训练集：用于训练模型
验证集：用于模型选择（如确定超参数）
测试集：用于评估最终模型的性能

数据集的划分方式主要有三种：

留出法：将数据集D划分为互斥的训练集S和测试集T。该方法简单易行，但数据分布不均时可能引入偏差。
交叉验证法：将数据集D划分为n个互斥子集，轮流将其中一份作为测试集，其余n-1份作为训练集，迭代n轮后取平均结果。该方法稳定性高，但计算量较大。
自助法：采用有放回的重复采样，从D中采样n次构建训练集，未出现的样本作为测试集。适用于小数据集，但会引入一定偏差。

> **常见问题**：训练集、验证集、测试集的比例如何设置？ > 通常建议：训练集占60%-80%，验证集占10%-20%，测试集占10%-20%。对于小数据集，可适当提高训练集比例，并采用交叉验证进行评估。 --- ## 2. 模型阶段模型阶段是机器学习的核心环节，涵盖算法建模、模型训练、评估优化和预测推理。 ### 2.1 机器学习算法建模机器学习算法可分为三类：

监督学习：使用有标签的数据训练模型，学习从输入到输出的映射关系。常见算法包括线性回归、决策树、SVM等。
无监督学习：数据不含标签，目标是发现数据内在结构。常见算法包括聚类、降维等。
强化学习：通过与环境的交互获取奖励信号，逐步优化策略。应用场景包括国际象棋、自动驾驶、机器人控制等。

### 2.2 模型训练模型训练是一个多轮迭代的过程。每轮迭代中，从训练集抽取小批量样本，输入模型得到预测值，然后计算预测值与真实值之间的损失函数（loss）。接着执行梯度反向传播，更新模型参数。训练效果可通过损失函数值的变化来判断：损失函数呈减小趋势，说明模型在逐步学习。以下以spam数据集为例，展示使用R语言进行模型训练的完整流程： **1) 将数据分为训练集和测试集并拟合模型**

##codes from https://cloud.tencent.com/developer/article/1787782
library(caret)
library(kernlab)
data(spam)
inTrain <- createDataPartition(y = spam$type,
                               p = 0.75, list = FALSE)
training <- spam[inTrain, ]
testing <- spam[-inTrain, ]
modelFit <- train(type ~., data = training, method="glm")

**2) 查看选项**：`metric`选项用于设置算法评价指标。连续变量使用RMSE（均方根误差）或R²；分类变量使用Accuracy（准确率）或Kappa系数（用于一致性检验及分类精度）。

##codes from https://cloud.tencent.com/developer/article/1787782
args(train.default)
function(x, y, method = "rf", preProcess = NULL, ..., weights = NULL,
         metric = ifelse(is.factor(y), "Accuracy", "RMSE"),
         maximize = ifelse(metric == "RMSE", FALSE, TRUE),
         trControl = trainControl(), tuneGrid = NULL, tuneLength = 3)
NULL
args(trainControl)
function (method = "boot", number = ifelse(grepl("cv", method),
     10, 25), repeats = ifelse(grepl("[d_]cv$", method), 1, NA),
     p = 0.75, search = "grid", initialWindow = NULL, horizon = 1,
     fixedWindow = TRUE, skip = 0, verboseIter = FALSE, returnData = TRUE,
     returnResamp = "final", sa vePredictions = FALSE, classProbs = FALSE,
     summaryFunction = defaultSummary, selectionFunction = "best",
     preProcOptions = list(thresh = 0.95, ICAcomp = 3, k = 5,
         freqCut = 95/5, uniqueCut = 10, cutoff = 0.9), sampling = NULL,
     index = NULL, indexOut = NULL, indexFinal = NULL, timingSamps = 0,
     predictionBounds = rep(FALSE, 2), seeds = NA, adaptive = list(min = 5,
         alpha = 0.05, method = "gls", complete = TRUE), trim = FALSE,
     allowParallel = TRUE)
NULL

**3) `trainControl`控制训练方法**：设置重抽样方式。常用方法包括`boot`（自举法）、`boot632`（调整自举法）、`cv`（交叉验证）、`repeatedcv`（重复交叉验证）、`LOOCV`（留一交叉验证）。`number`设置交叉验证或自举重抽样的次数，`repeats`设置重复交叉验证的重复次数，`seed`设置随机数种子。

##codes from https://cloud.tencent.com/developer/article/1787782
set.seed(1235)
modekFit2 <- train(type ~., data = training, method = "glm")
modekFit2
Generalized Linear Model

3451 samples
 57 predictor
  2 classes: 'nonspam', 'spam'

No pre-processing
Resampling: Bootstrapped (25 reps)
Summary of sample sizes: 3451, 3451, 3451, 3451, 3451, 3451, ...
Resampling results:

  Accuracy   Kappa
  0.9156324  0.8229977

> **小提示**：在训练过程中，建议使用`set.seed()`固定随机种子，确保结果可复现。同时，根据数据量选择合适重抽样方法：小数据集宜用自举法，大数据集则推荐交叉验证。 ### 2.3 模型评估与优化机器学习算法中的参数分为两类：

模型参数：由训练过程自动生成并更新，人为无法预先设定。
超参数：在训练前手动配置，用于控制模型结构、功能与效率。常见超参数包括学习率、迭代次数（epochs）、隐藏层数目、隐藏层单元数、激活函数、优化器等。

模型训练结束后，通过损失函数、准确率等指标对模型进行评估。若效果不理想，可调整超参数进行优化。 > **常见问题**：如何判断模型是否过拟合？ > 若训练集损失很低但测试集损失较高，可能发生过拟合。此时可尝试降低模型复杂度、增加正则化项、使用Dropout或扩充训练数据量。 ### 2.4 预测或推理机器学习的最后一步是使用训练好的模型对新数据进行预测。例如，简单线性回归模型为 `y = kx + b`，输入一个`x`值，即可得到对应的预测`y`值。 --- ## 3. SVM算法示例：量子 vs 经典实现支持向量机（SVM）是一种广泛使用的有监督分类算法。其核心思想是：在样本空间中寻找一个超平面，将两类样本分开，并力求使两类样本到超平面的间隔最大化。下面通过Qiskit框架演示SVM算法的两种实现方式：量子方式（QSVM）和经典方式（SklearnSVM），并对比它们的精度。 ### 3.1 导入依赖，准备运行环境

import qiskit
import matplotlib.pyplot as plt
import numpy as np
from qiskit.ml.datasets import ad_hoc_data
from qiskit import BasicAer
from qiskit.aqua import QuantumInstance
from qiskit.circuit.library import ZZFeatureMap
from qiskit.aqua.algorithms import QSVM
from qiskit.aqua.utils import split_dataset_to_data_and_labels, map_label_to_class_name

### 3.2 加载并查看数据

feature_dim = 2
training_dataset_size = 20
testing_dataset_size = 10
random_seed = 10598
shot = 10000

sample_Total, training_input, test_input, class_labels = ad_hoc_data(
    training_size=training_dataset_size,
    test_size=testing_dataset_size,
    gap=0.3,
    n=feature_dim,
    plot_data=True)

datapoints, class_to_label = split_dataset_to_data_and_labels(test_input)
print(class_to_label)

### 3.3 方式一：采用量子后端运行SVM算法 **使用`qasm_simulator`作为算法后端**

#getting my backend
backend = BasicAer.get_backend('qasm_simulator')
feature_map = ZZFeatureMap(feature_dim, reps=2)
svm = QSVM(feature_map,training_input,test_input,None)
svm.random_seed = random_seed
quantum_instance = QuantumInstance(backend,shots=shot,seed_simulator=random_seed, seed_transpiler=random_seed)
result = svm.run(quantum_instance)

**打印训练中的核心矩阵**

print("kernel matrix during the training:")
kernel_matrix = result['kernel_matrix_training']
img = plt.imshow(np.asmatrix(kernel_matrix),interpolation='nearest',origin='upper',cmap='bone_r')

**获得预测及其精度**

predicted_labels = svm.predict(datapoints[0])
predicted_classes = map_label_to_class_name(predicted_labels,svm.label_to_class)
print('ground truth: {}'.format(datapoints[1]))
print('prediction: {}'.format(predicted_labels))
print('testing success ratio: ', result['testing_accuracy'])

**输出预测结果**

ground truth: [0 0 0 0 0 0 0 0 0 0 1 1 1 1 1 1 1 1 1 1]
prediction: [0 0 0 0 0 0 0 0 0 0 1 1 1 1 1 1 1 1 1 1]
testing success ratio:  1.0

由以上输出可见，采用量子方式运行SVM算法的精度达到了100%。 ### 3.4 方式二：采用经典方式运行SVM算法 **使用qiskit中的一个类似Scikit-learn实现**

from qiskit.aqua.algorithms import SklearnSVM
svm_classical = SklearnSVM(training_input, test_input)
result_classical = svm_classical.run()

**打印经典方式训练中的kernel matrix**

print("kernel matrix during the training:")
kernel_matrix_classical = result['kernel_matrix_training']
img = plt.imshow(np.asmatrix(kernel_matrix_classical),interpolation='nearest',origin='upper',cmap='bone_r')

**打印预测结果及精度**

predicted_labels_classical = svm_classical.predict(datapoints[0])
predicted_classes_classical = map_label_to_class_name(predicted_labels,svm.label_to_class)
print('ground truth: {}'.format(datapoints[1]))
print('prediction: {}'.format(predicted_labels_classical))
print('testing success ratio: ', result_classical['testing_accuracy'])

**采用经典方式的SVM算法输出结果如下：**

ground truth: [0 0 0 0 0 0 0 0 0 0 1 1 1 1 1 1 1 1 1 1]
prediction: [1. 0. 0. 1. 0. 0. 0. 0. 1. 0. 1. 1. 1. 0. 0. 0. 0. 1. 1. 1.]
testing success ratio:  0.65

经典方式的SVM算法精度结果为65%，明显低于量子方式。 ### 3.5 量子与经典对比分析在SVM算法中，寻找能划分两类样本的超平面通常需要在更高维度上进行，这就涉及高维空间中样本点与平面的距离计算。当维度极大时，计算开销将非常巨大。而核技巧（kernel trick）能够获取数据点后返回一个距离，并通过优化核函数使样本点到超平面的距离最大化。量子计算凭借其高维并行处理能力，能够更高效地计算高维空间中的距离，从而获得更优的模型参数。本示例中QSVM达到100%精度，而经典SVM仅65%，充分彰显了量子计算的潜力。 > **常见问题**：量子SVM是否在所有场景下都优于经典SVM？ > 目前量子SVM主要适用于小规模、高维度的数据。对于大规模数据集，经典SVM在现有硬件上仍具优势。量子计算在机器学习领域的应用尚处于探索阶段，但前景十分广阔。 --- 通过本教程，你应该对机器学习的基本步骤有了清晰的认识：从数据收集与预处理、数据集划分，到模型选择与训练、评估优化，最后通过SVM示例对比了量子与经典两种实现方式。希望你能动手实践，进一步加深理解。

来源：https://m.elecfans.com/article/2282435.html

机器学习

延伸阅读

补充最近整理过的热点入口。

机器学习基本步骤详解

相关热点

延伸阅读