毕业季求职时，想要应聘机器学习工程师岗位？技术面试是每位候选人都必须面对的关键环节——面试官会借此评估你对核心概念的真实掌握程度。近期，JP Tech 发布了一篇整理文章，总结了他们在面试新人时常用的12个问题。这些问题虽然基础，但每个都值得深入思考。

这些问题覆盖了深度学习领域的核心知识点。在实际面试中，面试官不会一次性全部提问，而是会根据候选人的过往经验和项目背景灵活选择。通过多次面试（尤其是与学生交流），这些问题的积累逐渐形成。现在就把它们分享出来。

问题1：阐述批归一化的意义

这是一道经典题，能够考察面试者对神经网络操作的理解深度。回答可以各有侧重，但必须包含以下几个要点：

批归一化是一种训练神经网络的实用方法，核心是对特征进行归一化处理——使每层网络输出经过激活函数后，达到标准差为1的零均值状态。与之相反的情况就是非零均值，这会产生什么影响呢？

首先，非零均值意味着数据不围绕0分布，大部分值要么大于0要么小于0。再加上高方差问题，数据会变得非常大或非常小。这在深层网络中很常见。如果特征不在稳定区间内，优化过程就会受到影响。优化神经网络依赖导数计算——比如一个简单的层 y = Wx + b，y对W的导数是 dy = dWx。x的值直接影响导数。如果x变化剧烈，导数要么过大要么过小，最终导致模型不稳定。而使用批归一化后，我们就可以在训练中使用更高的学习率。

批归一化还能避免激活函数饱和：确保激活值不会过高或过低，有助于权重学习——否则有些权重可能永远学不到东西。同时，它降低了对参数初始值的依赖。此外，批归一化也可作为正则化的一种形式，有助于抑制过拟合。使用了批归一化后，就不必再依赖大量的dropout，但两者组合使用效果更佳。

问题2：阐述偏置和方差的概念以及它们之间的权衡关系

偏置其实很好理解：当前模型的平均预测结果与真实结果之间的差异。偏置高，说明模型不够关注训练数据，导致模型过于简单，在训练和测试上的表现都不好——这就是欠拟合。

方差可以简单看作模型输出在一个数据点上的分布或聚类程度。方差越大，模型越可能紧盯着训练数据，在未见过的数据上泛化能力差。结果是训练效果很好，但测试效果很差——这就是过拟合。

两者关系可以用一张图说明：

图中圆圈中心是能完美预测的模型——实际上永远找不到。离中心越远，预测越差。我们可以调整模型，让猜测尽可能落在中心附近。偏置和方差需要平衡：模型太简单（参数少），偏置高、方差低；反之，模型参数多，方差高、偏置低。这正是我们设计算法时衡量模型复杂度的基础。

问题3：假设深度学习模型已经找到1000万个人脸向量，如何以最快速度找到一张新人脸？

这题考察的是实际部署时的索引技术。人脸识别最后一步——One Shot Learning的应用——这一步往往最容易被忽视，却直接决定了系统能否落地。

基本的思路是：通过One Shot Learning把每张脸转换成一个向量，新的人脸识别就是找到与输入向量最接近（最相似）的向量。通常用带三元组损失（triplet loss）的定制损失函数训练模型。

但面对1000万个向量，每次识别都计算所有距离显然不现实——系统会慢到无法接受。我们需要对真实向量空间做索引，让查询更高效。主要思路是把数据划分成简单结构（比如树状），新数据进来时，沿着树结构快速找到最近的向量。

常用的方法包括局部敏感哈希（LSH）、Approximate Nearest Neighbors Oh Yeah——Annoy Indexing、Faiss等。

问题4：对于分类问题，准确度完全可靠吗？通常使用哪些指标评估模型？

分类评估方法很多。准确度是最简单的指标——正确预测数除以总数。听起来合理，但对不平衡数据不够敏感。比如构建预测网络攻击的模型（攻击请求只占1/100000），如果模型把所有请求判为正常，准确率高达99.9999%，但这个数字没有意义，因为它没有揭示每个类的分类细节。

更好的选择是混淆矩阵：展示数据点实际属于的类别以及模型预测的类别。形式如下：

除了真正例和假正例指标随阈值变化，我们还使用受试者工作特征（ROC）曲线。通过ROC能判断模型是否有效：理想的ROC越靠近左上角橙色线（真正例高、假正例低）越好。

问题5：你怎么理解反向传播？请解释动作的机制

这道题考察对神经网络工作方式的理解。回答要说明以下几点：

前向过程（前向计算）帮助模型计算每层权重，得到输出yp。然后计算损失函数——损失值反映模型好坏。如果损失不够小，就需要降低它。神经网络训练的本质就是最小化某个损失函数。损失函数L(yp, yt)衡量模型输出yp与真实标签yt之间的差异。

要降低损失，需要用到导数。反向传播帮助我们计算网络每一层的导数。基于每一层的导数值，优化器（Adam、SGD、AdaDelta等）通过梯度下降更新网络权重。反向传播从最后一层到第一层，使用链式法则或导数函数计算每一层的梯度值。

问题6：激活函数有什么含义？激活函数的饱和点是什么？

1. 激活函数的含义

激活函数的目的是突破神经网络的线性性质。可以简单理解为过滤器，决定信息是否通过神经元。在训练中，激活函数对调整导数斜率有重要作用。相比线性函数，非线性激活函数让神经网络学习更复杂的函数表征。大多数激活函数是连续可微的函数——输入有小的变化（且处处可导），输出也有小的变化。导数计算很关键，决定了神经元是否可以训练。常见的激活函数有Sigmoid、Softmax、ReLU。

2. 激活函数的饱和范围

Tanh、Sigmoid、ReLU等非线性激活都有饱和区间：当输入值变化时，输出值不再变化的区间。这存在两个问题。

第一，前向方向上，落在饱和区的层会逐渐输出相同的值，导致整个模型数据流趋同，这称为协方差偏移。第二，反向方向上，饱和区的导数为零，网络几乎无法再学习——这正是批归一化中要把值范围设为零均值的原因。

问题7：模型的超参数是什么？超参数与参数有何不同？

1. 模型参数是什么？

先回顾一下机器学习的本质：有数据集，机器才能学习。假设我们有温度和湿度等天气信息，想让机器找到这些因素与“爱人是否生气”之间的关联——听起来可笑，但机器学习确实有时会做这些事。用y表示爱人是否生气，x₁、x₂、x₃表示天气因素，函数f(x)表示关系：

系数w₁、w₂、w₃就是模型参数——它们代表了数据与结果之间的关系。所以模型参数是模型基于训练数据生成的值，帮助展示数据量之间的关系。说“找到最佳模型”，其实就是基于数据集找到最合适的参数。它们的特点：可用于预测新数据，体现模型能力，直接从训练数据中学习，不是人工设定的。不同算法中参数形式不同：神经网络是权重，SVM是支持向量，线性回归和逻辑回归中是系数。

2. 什么是模型超参数？

有人可能以为超参数和参数类似，实际上完全不同。参数从训练数据中建模，超参数完全在模型之外，不依赖训练数据。超参数的作用：在训练过程中帮助模型找到最合适的参数，通常由人工设计时选择，可以基于几种启发式策略定义。对于特定问题，我们并不知道最佳超参数，需要使用技术（如网格搜索）来估计最佳范围（比如KNN中的k值）。常见的超参数：神经网络的学习率、SVM的C和σ、KNN的k。

问题8：当学习率过高或过低时会怎样？

学习率过低时，模型训练很慢，因为每次权重更新非常小，需要大量更新才能到达局部最优点。学习率过高时，模型很可能无法收敛——权重更新过大，可能跳过局部最优点，在最优值附近来回摇摆，难以稳定。

问题9：当输入图像的尺寸加倍时，CNN参数的数量会增加多少倍？为什么？

这个问题有误导性，很多人会下意识认为参数数量增加。但看看CNN的架构：

CNN的参数数量取决于过滤器的数量和大小，而不是输入图像。因此输入图像尺寸加倍，参数数量不变。

问题10：处理数据不平衡问题的方法有哪些？

这题考察面试者处理真实数据的能力。真实数据往往是不平衡的——不同类别数据量差异大。常用方法：

• 选择适当的评估指标：不平衡数据下准确度不合适，应使用精确度、召回率、F1分数、AUC等。
• 对训练数据集进行重采样：通过欠采样、过采样（重复、自举、SMOTE等）创建平衡数据集。
• 集成多个模型：比如罕见类别1000个样本，常见类别10000个样本，可以训练10个模型，每个使用1000个罕见和1000个常见数据，然后集成得到最佳结果。

• 重新设计模型——成本函数：在损失函数中加入惩罚，严惩数据丰富的类别，帮助模型更好地学习罕见类别。

问题11：在训练深度学习模型时，epoch、batch、iteration分别是什么意思？

这些是基本概念，但很多面试者容易混淆。正确答案：

• Epoch：在整个数据集上的一次迭代（所有数据都参与训练一次）。
• Batch：当整个数据集太大无法一次性输入神经网络时，分割成的小批次。
• Iteration：运行一个epoch所需的batch数。例如数据集有10000张图像，batch_size=200，则一个epoch包含50次iteration（10000÷200）。

问题12：数据生成器的概念是什么？使用数据生成器需要什么？

生成函数在编程中很重要。数据生成函数可以帮助我们在每个训练batch中生成能直接拟合模型的数据。

在训练大数据时，使用生成函数大有助益——不需要把整个数据集载入RAM，避免浪费内存和内存溢出风险，也减少了输入数据的处理时间。

总结

以上就是面试中经常出现的12个深度学习问题。当然，根据面试者情况不同，提问方式会有差异，也会根据个人经历延伸其他问题。这篇文章只涉及技术层面，但在面试中态度同样重要——可以说态度占了一半。因此除了扎实的知识和技能，展现真诚、进取又谦虚的态度，往往能让对话事半功倍。