1. 正式设置一个机器学习问题

为了有些趣味，让我们先设置一个问题。首先从数据开始。假设我们标记了数据，即满足 P(x,y) 分布的输入数据 x（比如图片）和标签 y。如此一来我们得到：

• 分布 P(x,y) 固定且未知。
• 对于 i = 1……N 来说，可获得样本 , 。
• 数学分析通常假设样本是独立的。
• 通常来说，我们需要假设标签 y 和输入 x 间有 y = f(x) 的函数关系，即是说，标签是精确的、没有歧义的，但并非总是如此。

我们想要“训练”的是某些函数 f: x ↦ y，或者说是更普遍地估计条件分布 P(y | x)。我们的候选函数来自于参数集 F = { f_θ | θ ∈ Θ }，在这里 θ 代表参数。为了达成目标，我们设定了损失函数（或风险函数），从概念上讲，我们希望将预期损失 R(f) = E[L(f(x), y)] 最小化。第一次尝试通常是将经验风险或者经验损失

最小化。如果我们的损失函数是负对数似然，将 R_emp 最小化就意味着计算最大相似估计。