背景

自动出价，如今已经成为广告平台在动态复杂、竞争激烈的在线环境中优化出价决策的核心手段。从技术演进来看，业界的自动出价系统大致走过了三代：最早是基于规则的策略，比如PID控制和预算节奏控制（budget pacing），这类方法计算开销小、部署起来也简单，但问题是很难适应瞬息万变的市场；随后，基于强化学习（RL）的方法开始登场，它能根据环境反馈自适应地调整出价，但传统的MDP框架有个隐含假设——状态之间相互独立，这往往会忽略出价序列内部的时间依赖关系和历史上下文；到了近年，Decision Transformer（DT）的出现带来了新思路，它把强化学习重新建模为序列建模任务，能很好地捕捉长程依赖关系，给离线自动出价打开了一个全新方向。

不过，把DT真正用到现实中的自动出价场景，挑战依然不少。比如，不同广告主的目标千差万别，评估指标可能涉及CPA、CPC等各种复杂约束；再比如，模型基于固定的离线数据集训练，很容易局限在数据里已有的行为模式上，甚至引发行为崩溃；还有，在巨大的动作空间里探索，分分钟就会碰上OOD（分布外）风险。为了应对这些问题，快手提出了GA VE框架——全称是Generative Auto-Bidding with Value-Guided Explorations，一个基于DT的离线生成式自动出价框架。它的核心创新体现在三个方面：基于分数的RTG（Return-To-Go）、动作探索机制，以及可学习价值函数，最终实现了自适应优化、稳定更新和策略改进。

今天这篇笔记，就来系统梳理一下快手这篇被SIGIR 2025收录的论文。理解有不到位的地方，欢迎大家一起讨论指正。

自动出价问题定义

先来看问题本身的数学形式。假设在一个离散时间段内，依次有 I 次曝光机会依次到来，广告主需要为每次曝光提交一个出价 {b_i}_{i=1}^I。

竞价机制遵循的是标准规则：对于某次曝光 i，如果广告主的出价 b_i 超过了其他所有广告主的最高出价 b_i^-，那他就拿下这次曝光，并产生一笔广告消耗 c_i。工业界通常采用广义第二价格（GSP）机制，也就是赢家实际付的钱等于第二高的出价。广告主的目标很明确——最大化所有竞胜曝光的累计价值：

max ∑ x_i v_i (1)

这里的 v_i 是曝光 i 对广告主的价值，比如预测转化率（pCVR）或预测点击率（pCTR）；x_i 则是一个0/1变量，表示广告主是否赢下了这次曝光：

x_i = { 1, if b_i > b_i^-; 0, otherwise } (2)

当然，光最大化价值还不够，还得满足几个硬约束。首先是预算约束——总广告消耗不能超过预算 B。在实际竞价平台中，这个约束通常由平台直接强制执行：预算一耗尽，平台就把竞得变量 x_i 置为0，直接停止该广告的曝光，避免超支。

∑ x_i c_i ≤ B (3)

除了预算，还有其他KPI约束，比如CPA（每次转化成本）。公式如下：

(∑ x_i c_i) / (∑ x_i v_i) ≤ C (4)

这里解释一下：如果 v_i 是pCVR，那分母就是转化数，分子除以分母得到的就是平均每个转化的广告消耗（转化成本）；如果 v_i 是pCTR，那就是点击成本。C 表示广告主能接受的最大转化或点击成本。

有个细节值得注意：和预算约束不同，CPA这类KPI约束在实际场景里通常是“软约束”。因为真实的CPA要等到整个出价周期结束后、根据全部曝光的实际价值才能算出来，出价过程中没法实时硬截断。所以建模时，一般把它作为惩罚项加到目标函数里，而不是直接当硬约束处理。

这样一来，出价问题就可以表达成下面这个线性规划：

max ∑ x_i v_i, s.t. ∑ x_i c_i ≤ B, (∑ x_i c_i)/(∑ x_i v_i) ≤ C (5)

解这个规划，可以得到理论上的最优出价策略：

b_i^* = λ_0^* v_i - ∑_j λ_j^* [ q_ij (1 - 1_{CR_j}) - k_j p_ij ] (6)

这里 λ^* 是拉格朗日乘子。如果只考虑预算和CPA约束，公式可以大大简化：

b_i^* = (λ_0^* + λ_1^* C) v_i = λ^* v_i (7)

所以，自动出价问题的核心就变成了：在出价过程中，不断迭代地寻找最优的统一出价参数 λ^*。

基于DT的自动出价

传统基于强化学习的自动出价，通常假设整个过程是马尔可夫决策过程（MDP），即 s_{t+1} = f(s_t, a_t)，当前状态只依赖于上一个时间点的状态。但Decision Transformer（DT）不一样，它把强化学习任务转化成序列建模问题，利用Transformer架构强大的建模能力来预测最优策略。这样一来，它就能挖掘长周期内的相关信息，而不是只看上一个时间点的状态。在离线强化学习、复杂任务规划，以及非马尔可夫决策问题中，DT的表现都非常亮眼。

在基于DT的自动出价框架中，出价过程被划分成多个时间段，几个关键定义如下：

• 状态 s_t：是一个向量，包含了时间点 t 时的出价环境特征，比如剩余时间、未使用预算、历史出价信息等。
• 动作 a_t：就是出价变量。在这篇论文里，最优动作等价于公式(7)中的统一出价参数 λ^*，所以：

a_t = λ_t (8)

• 奖励 rw_t：假设时间点 t 和 t+1 之间有 N_t 次曝光，那奖励就是这段时间内所有竞胜曝光的价值之和：

rw_t = ∑_{n=0}^{N_t} x_n^t v_n^t (9)

• Return-To-Go（RTG） r_t：表示从当前时间点开始，到结束还能获得的奖励总和：

r_t = ∑_{t'=t}^T rw_{t'} (10)

这里 T 是最终时间点，比如当天晚上的12点。

整个出价过程可以用下面这条轨迹（trajectory）来表示：

τ = (r_1, s_1, a_1, r_2, s_2, a_2, ..., r_T, s_T, a_T) (11)

GA VE 框架

GA VE 概览

GA VE采用的是DT架构，输入就是上面公式(11)所示的轨迹——奖励、状态和动作的序列 (r_t, s_t, a_t)。和传统DT相比，GA VE在三个方面做了创新：

1. 基于分数的RTG（score-based RTG）：通过可定制的分数函数，把CPA等约束整合到训练阶段，让训练目标和不同广告主的评估指标对齐；
2. 动作探索模块（action exploration module）：在离线数据集之外探索新的动作，并通过基于RTG的评估方法实现稳定更新；
3. 可学习价值函数（learnable value function）：估计未来RTG的上界，引导探索方向，同时缓解OOD问题。

GA VE遵循离线强化学习的范式：对序列样本进行推理，然后在模拟竞价环境里进行评估——被测模型和那些采用固定策略的其他智能体进行交互。

具体来说，在时间点 t，GA VE基于输入的历史轨迹，会预测出几个量：预测动作 â_t、探索系数 β̂_t、可学习价值函数 V_{t+1} 的估计值 V̂_{t+1}，以及RTG估计值 r̂_{t+1}。这个预测过程可以用公式(12)来概括：

(β̂_t, â_t, V̂_{t+1}) = GA VE(r_{t-M}, s_{t-M}, a_{t-M}, ..., r_t, s_t) (12-1) r̂_{t+1} = GA VE(r_{t-M}, s_{t-M}, a_{t-M}, ..., r_t, s_t, a_t) (12-2) ã_t = β̂_t a_t (12-3)

其中，M 是一个超参数，表示输入序列包含 M+1 个时间步；ã_t 是由探索系数 β̂_t 生成的探索动作。

基于分数的RTG

前面在“自动出价问题定义”一节已经提到，如果直接去优化竞胜曝光的累计奖励，很容易导致CPA约束超标。所以，目标函数里必须加一个惩罚项，来刻画广告对CPA约束的遵循程度。

“基于分数的RTG”的核心思路是：把测试阶段用来评估整个出价过程的分数 S，推广到每一个时间步上，得到 S_t，然后通过 r_t = S_T - S_{t-1} 来计算RTG。这样一来，训练阶段的优化目标就不再是原始的累计奖励，而是和最终评估指标一致的分数了——训练目标和评估指标自然就对齐了。

在测试阶段，用下面这个分数 S（公式13，其中 γ=2）来评估整个出价周期的模型性能：

CPA = (∑ x_i c_i) / (∑ x_i v_i) (13-1) P(CPA; C) = min{ (C/CPA)^γ, 1 } (13-2) S = P(CPA; C) · ∑ x_i v_i (13-3)

很明显，CPA越大（成本越高），P(CPA; C) 越小，最终的分数 S 也就越小。

论文的一个关键贡献是：直接在训练阶段就把这些约束整合进来了，而不是像之前的工作那样，只在测试阶段用分数 S 来筛选模型。相比无约束的RTG，论文用的是带约束的分数：

CPA_t = (∑_i^{I_t} x_i c_i) / (∑_i^{I_t} x_i v_i) (14-1) P(CPA_t; C) = min{ (C/CPA_t)^γ, 1 } (14-2) S_t = P(CPA_t; C) · ∑_i^{I_t} x_i v_i (14-3) r_t = S_T - S_{t-1} (14-4)

这里，I_t 表示从时间点0到时间点 t 的总曝光数，S_t 是时间点 t 时的累计分数，T 是出价阶段的最终时间点。

更一般地，可以写成：

r_t = S_T - S_{t-1} (15)

直观上理解：S_T 是整个出价周期的最终累计分数，S_{t-1} 是到时间步 t-1 为止已经获得的累计分数，两者之差 r_t 就是从时间步 t 开始还没拿到、但预期可以拿到的分数——这不正好可以用来作为RTG指导模型优化吗？

这种基于分数的RTG函数大大增强了GA VE的灵活性，让它能适应各种不同的广告目标。而且，分数函数 S 通常是可微的，所以不同的广告目标可以通过可微编程的方式灵活地嵌入到训练目标中。

动作探索

探索的目的，是从离线数据中发现更好的策略。但问题在于，离线环境里没法跟真实环境交互，盲目探索会导致分布偏移（distribution shifts）。GA VE设计了一套动作探索机制，能够在探索新动作的同时，保持训练的稳定性。

在时间点 t，GA VE会预测一个和 a_t 维度相同的系数 β̂_t，然后生成新的探索动作 ã_t：

β̂_t = σ(FC_β(DT(r_{t-M}, s_{t-M}, a_{t-M}, ..., r_t, s_t))) (16-1) ã_t = β̂_t a_t (16-2)

这里，DT(·) 是Decision Transformer骨干网络，FC_β(·) 是全连接网络层，σ 是一个缩放函数：

σ(x) = Sigmoid(x) + 0.5 (17)

这个函数把 β̂_t 限制在 (0.5, 1.5) 之间，这样探索动作 ã_t 就和原始动作标签 a_t 比较接近，分布偏移也就控制在一个较小的范围内。

为了进一步最小化分布偏移并保持训练稳定性，GA VE不是直接拿 ã_t 去生成新样本，而是把它作为额外的标签来指导动作 â_t 的更新方向。在强化学习中，一个动作的价值可以用它后续能获得的累计未来回报 r_{t+1} 来表示。所以，GA VE通过比较探索动作和原始动作标签的RTG，来评估两者的好坏：

r̃_{t+1} = GA VE(r_{t-M}, s_{t-M}, a_{t-M}, ..., r_t, s_t, ã_t) (18-1) w_t = Sigmoid(α_r · (r̃_{t+1} - r̂_{t+1})) (18-2)

其中，r̃_{t+1} 和 r̂_{t+1} 分别是探索动作 ã_t 和原始动作标签 a_t 的估计RTG，α_r 是一个正的超参数。如果 w_t > 0.5，说明在RTG的意义上探索动作更好，更新方向就更偏向 ã_t；反之则偏向 a_t。

对应的损失函数如下：

L_r = 1/(M+1) ∑_{t-M}^t (r̂_{t'+1} - r_{t'+1})^2 (19-1) L_a = 1/(M+1) ∑_{t-M}^t [ (1 - w_t')·(â_t' - a_t')^2 + w_t'·(â_t' - ã_t')^2 ] (19-2)

这里，w_t' 和 ã_t' 分别是 w_t 和 ã_t 的梯度冻结版本。L_r 负责保证RTG预测的准确性；L_a 则在原始动作标签和探索动作之间做平衡，实现稳定更新。

可学习价值函数

动作探索机制虽然能发现离线数据集之外的新动作并保持更新稳定，但随机生成的探索动作并不能保证模型性能一定提升。为了进一步引导探索方向、发现更优策略，同时缓解OOD问题，GA VE引入了一个可学习的价值函数。

受强化学习中状态价值函数的启发，GA VE定义了一个序列价值函数 V_{t+1}，用来表示 r_{t+1} 的上界：

V_{t+1} = arg max_{a_t ∈ A} r_{t+1} (20)

这里 A 是动作空间。但由于动作空间巨大，离线数据集里的真实动作又很有限，直接统计计算 V_{t+1} 不太现实。GA VE的做法是通过expectile回归来学习：

L_e = 1/(M+1) ∑_{t-M}^t L_2^τ(r_{t'+1} - V̂_{t'+1}) (21-1) = 1/(M+1) ∑_{t-M}^t |τ - 1((r_{t'+1} - V̂_{t'+1}) < 0)|·(r_{t'+1} - V̂_{t'+1})^2 (21-2)

其中 L_2^τ(y - m(x)) 是expectile损失函数，V̂_{t+1} 是 V_{t+1} 的预测值，1(·) 是指示函数。论文把 τ 设为0.99，目的是学习 r_{t+1} 的上界。简单解释一下：expectile损失通过系数 |τ - 1(·)| 对正负误差赋予不同权重。当 τ > 0.5 时，模型低估真实RTG会受到更大惩罚，高估则相对宽容，所以预测值会偏向标签分布的右侧尾部。当 τ = 0.99 时，模型几乎只关注高RTG样本，从而估计出RTG的近似上界。

通过用 V̂_{t+1} 估计 V_{t+1} 并引导 r̃_{t+1} 的更新方向，GA VE隐式地把探索动作 ã_t 的更新方向引向潜在的最优动作：

L_v = 1/(M+1) ∑_{t-M}^t (r̃_{t'+1} - V̂_{t'+1}')^2 (22)

这里 V̂_{t+1}' 是 V̂_{t+1} 的梯度冻结版本。通过 L_v，GA VE把探索动作的RTG锚定在估计的最优值附近，既缓解了OOD风险，又实现了受控外推来改进策略。

优化算法

综合以上模块，GA VE的总损失函数是各损失项的加权和：

L_o = α_1·L_r + α_2·L_a + α_3·L_e + α_4·L_v (23)

这里的 {α_1, α_2, α_3, α_4} 是控制各损失项相对贡献的超参数。四项损失各司其职：L_r 保证RTG预测准确，为后续基于RTG的动作评估打基础；L_a 在原始动作标签和探索动作之间找平衡，保持更新稳定；L_e 学习未来RTG的上界；L_v 用这个上界引导探索方向，缓解OOD风险。

GA VE的完整优化流程可以用算法1来总结。输入是一个离线数据集 D，输出是训练好的模型参数。每一步都按照上面描述的过程来更新。

到了推理阶段，GA VE处理每个输入序列，预测出 â_t = λ_t，作为时间步 t 的出价参数。那么，第 n 次曝光的出价价格，就按公式(7)计算为 b_{tn} = λ_t v_{tn}。

离线实验

实验设置

论文在阿里妈妈发布的公开基准数据集AuctionNet及其稀疏版本AuctionNet-Sparse上进行了实验。两个数据集都包含大约50万条出价轨迹，跨越约1万个投放周期，每条轨迹有48个时间步。

数据统计如下表所示。

评估时使用模拟出价环境，48个不同策略的智能体竞争到来的曝光。测试模型依次替换每个智能体进行轮替测试，最终性能取平均值。离线评估时，模型预测的动作直接作为出价参数使用（即 â_t = a_t）。性能指标就用公式(13)中 γ=2 的分数 S。

对比的基线方法包括：DiffBid、USCB、CQL、IQL、BCQ、DT、CDT、GAS。

实现细节方面，所有实验都在NVIDIA H100 GPU上进行。GA VE采用8层、16个注意力头的因果Transformer架构，用AdamW优化器，学习率为 1e^{-5}，批次大小128，最多训练40万步。其他超参数通过网格搜索确定。为了保证统计显著性，论文使用最优参数配置进行了10次独立运行，并报告平均结果。

整体性能

性能对比结果如下表所示（粗体是最高分，下划线是基线中的最佳结果，*表示相对于最佳基线有统计显著提升）。

从表中可以清楚地看到，GA VE在所有预算和数据集配置下都取得了最优性能，相比最强基线GAS也有1.3%到6.75%的提升。基于DT的方法（GAS、DT、CDT）整体上优于传统RL和规则方法，这验证了DT在捕捉时间依赖性和长程历史信息方面的优势。相比之下，DiffBid在长序列且高度动态的竞价环境中表现不佳，可能是因为扩散模型的反向过程很难准确预测整条出价轨迹并从中学习。

对齐分析

为了验证基于分数的RTG是否真的能把训练目标和评估指标对齐，论文在AuctionNet-Sparse 100%预算设置下，测试了三种不同的评估指标 S_1、S_2、S_3：

S_1 = ∑ x_i v_i (24-1) S_2 = min{ (C/CPA)^2, 1 } · ∑ x_i v_i (24-2) S_3 = min{ (C/CPA)^5, 1 } · ∑ x_i v_i (24-3)

三者的业务含义不一样：S_1 只关心累计曝光价值，适用于CPA约束宽松、允许成本波动的场景；S_2 是论文采用的评估指标，对CPA施加中等程度的惩罚；S_3 把CPA惩罚指数提升到5，对应CPA约束非常严格、要求成本必须贴近限制的场景。

对齐分析的结果如下表所示。

从表中可以看出，当训练时使用的RTG和评估指标一致时，GA VE都能取得最高性能。这说明基于分数的RTG确实能够有效地对齐训练目标和评估指标。

参数分析

论文还分析了训练过程中总体损失 L_o 和权重 w_t 的变化情况。w_t 通过Sigmoid函数把探索动作和原始动作标签的RTG差距映射到 (0, 1) 区间：w_t 越接近1，说明探索动作 ã_t 的估计RTG显著高于原始标签 a_t 的估计RTG，探索动作更优；w_t 越接近0则相反。随着训练的进行，w_t 从大约0.5逐渐上升到0.5以上的稳定位置。这说明在价值函数的引导下，模型持续探索RTG更高且接近估计最优值的动作，这验证了可学习价值函数对动作探索的指导作用。

消融实验

论文设计了两种GA VE变体，并与纯DT基线进行了对比：

• GA VE-VA：去掉了动作探索机制和可学习价值函数，只保留基于分数的RTG；
• GA VE-V：去掉了可学习价值函数，保留动作探索机制。由于去掉了价值函数模块，L_e（expectile回归损失）和 L_v 同时被移除，改用损失 L_w = 1 - Sigmoid(α_r · (r̃_{t+1} - r̂_{t+1}')) 来鼓励探索动作的RTG超过原始标签。不过，这种无界引导容易让探索方向偏离真实分布，引发OOD问题；
• DT：去掉GA VE的所有设计模块，只使用原始累计奖励 ∑ x_i v_i 作为RTG的纯Decision Transformer基线。

消融实验的结果揭示了几点关键信息：（1）基于分数的RTG本身就能带来提升（GA VE-VA > DT），这说明训练目标和评估指标对齐确实很重要；（2）引入动作探索机制后性能进一步提升（GA VE-V > GA VE-VA），说明在离线数据集之外进行动作探索是有价值的；（3）完整引入可学习价值函数后性能最佳（GA VE > GA VE-V），说明价值函数既能约束探索范围、缓解OOD问题，又能把探索方向引向潜在的最优策略。

在线应用

论文还通过A/B测试，在快手在线实时出价场景中验证了GA VE的有效性。在线测试的基线是当前生产环境中部署的离线强化学习算法IQL，测试场景包括Nobid（在每日预算内最大化转化数）和Costcap（在CPA/ROI限制下最大化转化数）两种。

在线系统中，状态是20步的序列，特征包括预算、CPA限制、预测值、流量/成本速度、分时段预算、剩余时间和窗口平均出价系数。为了让出价结果更稳定，最终使用的出价系数 λ_t 由GA VE输出的动作 a_t 加上前两小时窗口（含 E 个时间步）内的平均出价系数共同确定：

λ_t = a_t + (1/|E|) ∑_{t'=t-E}^{t-1} λ_{t'} (25)

由于真实的转化很稀疏，训练时用预期总转化数 ∑ pcvr_i 的累计形式作为RTG——每个时间步对应剩余的预期转化数，其中 pcvr_i 是赢得的流量 i 的预测转化率。推理阶段，整个序列的目标RTG设置为该广告活动前一天的预期总转化数。

在线A/B测试的结果如下表所示。

在线A/B测试持续了五天。对每个广告活动，25%的预算和流量分配给基线模型，另外25%分配给GA VE。这里的"Target cost"是按广告活动价值加权后的转化指标（Costcap场景下用CPA限制加权，Nobid场景下用历史平均真实CPA加权），用来统一衡量不同广告活动的转化贡献。在Nobid场景中，GA VE在成本仅增加0.8%的情况下，转化数提升了8.0%，目标成本提升了3.2%。在Costcap场景中，GA VE实现了成本+2.0%、转化数+3.6%、目标成本+2.2%、CPA有效比例+1.9%的全面提升。这个结果有力地验证了GA VE在真实工业环境中的有效性。

相关工作

离线强化学习与Decision Transformer

强化学习通过和环境交互来训练决策智能体，但在线交互在真实应用中风险太高。离线RL通过从静态数据集中学习策略来解决这个问题，BCQ、CQL、IQL等方法在稳定控制、缓解价值过估计和减少分布偏移方面表现都不错。不过，这些方法对MDP的依赖，限制了对历史观测和长程依赖的建模能力。Decision Transformer把RL重新建模为序列建模任务，利用Transformer来捕捉历史模式和长程依赖，在离线RL中取得了很亮眼的成绩。像CDT这样的扩展，还进一步实现了零样本约束适应。

在线广告平台的自动出价

自动出价在管理大规模广告拍卖中起着关键作用。早期的方法比如PID和OnlineLP，主要基于规则，用反馈回路和随机规划来解决预算节奏控制和出价优化问题。基于RL的方法，如RLB、USCB、MAAB、SORL，能够处理高维状态和多智能体协调。最近几年，DiffBid和GAS这类生成式序列建模方法，分别用扩散模型和带蒙特卡洛树搜索（MCTS）的transformer改进了出价轨迹的生成。GA VE在这个基础上，提出了基于分数的RTG、动作探索机制和可学习价值函数，目的是实现对优化目标的对齐、增强探索，并学习到最优策略。

总结

这篇笔记对快手提出的GA VE框架做了一次系统梳理。GA VE基于Decision Transformer，针对离线自动出价场景中的三个关键挑战，提出了创新的解决方案：

1. 基于分数的RTG：通过可定制的分数函数，把CPA等约束整合到训练阶段，实现训练目标和评估指标的对齐；
2. 动作探索机制：通过预测探索系数生成邻近动作，并基于RTG评估其优劣，在保持训练稳定的同时进行更新；
3. 可学习价值函数：通过expectile回归估计未来RTG的上界，引导探索方向，缓解OOD风险。

实验结果表明，无论是在公开数据集上，还是在快手真实的在线场景中，GA VE都取得了优于现有基线的性能。这项研究为动态竞价环境中的自动出价策略优化，提供了一个有效的解决方案。

参考文献

• Generative Auto-Bidding with Value-Guided Explorations
• Decision Transformer: Reinforcement Learning via Sequence Modeling
• AuctionNet 数据集
• GA VE 代码