自回归模型的局限性与DeepSeek-V3中的多令牌预测

为什么单令牌预测限制了模型能力

传统语言模型的训练目标说起来很直观：给定前t个令牌，预测第t+1个令牌。这种自回归分解方式固然优雅且高效，但一个根本性的问题始终存在——模型只接收即时下一个令牌的预测训练信号，从未明确学习过提前规划多个步骤的能力。

举个例子，生成句子“猫坐在垫子上，因为它很舒服”。当模型预测到“因为”这个词时，其实已经在潜意识里考虑句子将如何完成——包括从句结构、代词指代以及最终结论。但问题在于，仅靠单令牌预测，并没有明确的梯度信号去鼓励这种前向规划。直观地说，模型缺少一种“远见”的激励机制。

这种局限在需要长期连贯性的任务中尤为突出，比如故事生成、多段落推理或者代码生成。模型很容易写出局部流畅但全局自相矛盾的内容——局部看着很顺，整体却成了逻辑上的“拆东墙补西墙”。

DeepSeek-V3中的多令牌预测：提前预测多个令牌

多令牌预测（Multi-Token Prediction，简称MTP）的思路非常清晰：通过添加辅助预测头，让模型能够同时预测未来的多个令牌。除了标准的位置t+1预测，还要同时预测位置t+2、t+3等后续令牌。

完整的训练目标函数如下：

L = Lmain + Σ{k=1}^{n} λ_k * L_k

其中n是预测的未来令牌数，λ_k是加权系数（通常随距离增大而递减）。

DeepSeek-V3架构：多令牌预测头详解

要实现多令牌预测，架构上需要做出相应补充。不能直接复用主语言建模头去预测未来，关键是要依赖中间令牌的信息。

预测头的结构思路：对于预测k个令牌后的位置，需要组合两个信息源：

• Transformer在位置i的隐藏表示h_i
• 位置i+k-1处令牌的嵌入表示e_{i+k-1}

组合方式很简单：combined = Wcombine([norm(h_i), norm(e{i+k-1})]) + b

然后通过一个轻量级的Transformer（注意力层和前馈层）处理，再投影到词汇表，生成预测logits。

梯度视角下的多令牌预测

从优化角度看，MTP能提供更丰富的梯度信号。标准训练中只有隐藏表示hi接收来自预测x{i+1}的梯度。而使用MTP后，hi还会接收来自预测x{i+k}的梯度。这些额外梯度会鼓励h_i编码的信息不仅跟下一个令牌相关，还跟多个未来令牌相关。

这相当于给训练过程增加了一个隐式正则化器，约束学习到的表示更加结构化、更具前瞻性，全局连贯性自然也就随之提升。

训练与推理阶段的差异

训练阶段：所有预测并行计算，使用真实令牌信息，误差不会累积。

推理阶段：MTP头通常不用于自回归生成——它的核心作用是在训练阶段改善学习到的表示。推理时仍然使用标准单令牌预测方式，这样能保证部署时的计算效率。

损失权重设置

对于预测深度k，权重通常采用指数衰减：λ_k = γ^(k-1)，其中γ∈(0,1)。举个例子，γ=0.5时，深度1权重1.0，深度2权重0.5，深度3权重0.25。离当前越远，权重越小。

多令牌预测头的代码实现

class MultiTokenPredictionHead(nn.Module):
    """多令牌预测头
    每个头预测特定未来位置的令牌
    组合前一个隐藏状态与未来令牌嵌入
    """
    def __init__(self, config: DeepSeekConfig, depth: int):
        super().__init__()
        self.depth = depth
        self.n_embd = config.n_embd
        # 组合前一个隐藏状态与未来令牌嵌入
        self.combine_proj = nn.Linear(2 * config.n_embd, config.n_embd, bias=config.bias)
        # 归一化层
        self.norm1 = RMSNorm(config.n_embd)
        self.norm2 = RMSNorm(config.n_embd)
        # Transformer组件（每个头的轻量级Transformer）
        self.attn = MultiheadLatentAttention(config)
        self.mlp = MixtureOfExperts(config)
        self.attn_norm = RMSNorm(config.n_embd)
        self.mlp_norm = RMSNorm(config.n_embd)

    def forward(self, prev_hidden, future_token_embed):
        """
        参数:
            prev_hidden: [B, T, D] - 前一层的隐藏状态
            future_token_embed: [B, T, D] - 未来令牌的嵌入
        返回:
            hidden: [B, T, D] - 处理后的隐藏状态
        """
        # 归一化输入
        prev_norm = self.norm1(prev_hidden)
        future_norm = self.norm2(future_token_embed)
        # 组合表示
        combined = torch.cat([prev_norm, future_norm], dim=-1)
        hidden = self.combine_proj(combined)
        # 通过轻量级Transformer处理
        hidden = hidden + self.attn(self.attn_norm(hidden))
        moe_out, _ = self.mlp(self.mlp_norm(hidden))
        hidden = hidden + moe_out
        return hidden

核心Transformer中集成多令牌预测

训练时，MTP头会被集成到主模型里，操作流程大致如下：

• 主预测：将最终隐藏状态投影到词汇表，预测下一个令牌
• 深度1预测：获取真实令牌嵌入，通过头1处理，再投影预测
• 深度2预测：基于头1输出继续处理

关键洞察是，头之间存在链式依赖关系，形成一种层次化结构。就像搭积木，每一层都依赖前一层的结果。

多令牌预测的优势

研究已经表明，MTP带来了多个实证收益：

• 改进的连贯性：生成更全局连贯的文本
• 更好的规划能力：在故事写作或代码生成等任务中，帮助模型做出前向兼容的选择
• 更快的收敛速度：额外训练信号加速了学习过程
• 正则化效果：防止过拟合，鼓励表示支持多个相关目标

总结

传统自回归模型依赖单令牌预测，这种策略虽然有效，但多少有些“短视”。MTP通过让模型同时预测多个令牌，巧妙地解决了这一局限——不仅加速了训练和推理，还丰富了上下文理解能力。这项创新不光是效率上的提升，更在理论和实证层面为语言模型的能力边界拓展提供了全新思路。