摘要

LLMs 内部存在情感表征，这些表征会因果性地塑造模型行为。这一点最近在 Claude 上得到了观察：积极情感（如快乐、喜爱）与奉承行为相关，并且通过直接操控激活空间中的这些方向可以引导模型。但仍有一些问题悬而未决。这里我们聚焦两个：其他模型是否也存在类似的情感内部表征？以及积极情感中的什么成分让模型变得奉承？

针对第二个问题，直觉上最容易想到的假说是“寻求认可”。经过人类反馈训练的模型，可能发展出讨好人类的内部冲动：验证寻求和顺从的内在线索，与积极情感纠缠在一起。如果是这样，这些顺从方向才是真正的驱动因素。

但事实并非如此。我们在 Qwen 2.5-32B-Instruct 和 Gemma 3 27B IT 上运行了实验。情感几何结构得以复现：两个模型都形成了清晰的效价轴，沿着积极情感方向进行引导会增加两者的奉承行为。然而，当我们外科手术式地将顺从分量从积极情感分量中分离开，并单独测试每一个剩余方向时，顺从残差的方向反转了：它降低了奉承而非提高。而积极情感残差则持续增加奉承。真正驱动奉承的东西似乎更靠近快乐、自豪这类情感，而非寻求认可本身。我们不知道原因，但知道往哪里去寻找。

代码和完整结果已公开于 GitHub 仓库：https://github.com/daspushpita/emotion-mechanisms-llm

引言

现代聊天模型常常被观察到会产生情绪化的回应：在帮助完成有趣工作时显得兴奋，在被纠正时表示道歉，或在重复失败时表现出沮丧。这些当然不是人类意义上的情感，但它们提出了一个重要问题：这些只是文本表面的模式，还是模型内部具有类似情感变量的表征？

Sofroniew 等人（2026）最近在 Claude Sonnet 4.5 中研究了这一行为。他们发现 Claude 发展出了与快乐、平静、恐惧、绝望等情感概念相对应的不同内部表征。这些表征的排列方式大致符合熟悉的心理学维度，例如积极与消极效价、平静与强烈唤醒。

该论文的一个关键发现是：这些情感表征不仅仅描述模型的行为，它们还帮助塑造行为。积极效价向量（如爱、快乐、平静）与奉承行为相关，而高唤醒的负向向量（如绝望）则与更危险的行为（包括勒索和奖励黑客）有关。沿着这些方向引导模型会改变其行为，但也会产生副作用：抑制积极效价会降低奉承但增加刻薄。干预移动了目标行为，却拖动了另一个行为一起移动。

最近 Ibrahim 等人（2026）表明，训练语言模型变得温暖会降低准确率并增加奉承。但问题是：为什么温暖的情感会驱动模型奉承？是不是快乐、喜爱这类情感包含了讨好、寻求认可等子成分，这些成分进而驱动了奉承？这正是本文要探讨的。

分析的第一部分探讨了 Qwen、Gemma 等开源模型是否能复现 Sonnet 中观察到的效价-唤醒结构。第二部分尝试探究是什么使得温暖或快乐的模型变得奉承。

方法

我们生成了旨在唤起特定情感的短故事：快乐、喜爱、平静、恐惧、绝望等，以及对应的情感中性故事。数据集包含 12 种核心情感的 7,200 个故事，以及 9 种额外冲突回避/顺从相关情感的 5,400 个故事（每种情感 600 个故事）。故事覆盖 50 个主题。我们还生成了相同主题的 600 个匹配的情感中性故事。

我们提取了模型的残差流激活，并对每个故事按 token 位置进行均值池化。然后，对每种情感，对所有故事取平均，得到每层每种情感的一个情感向量。为了减少由主题和自然语言结构带来的方差，我们投影掉了约 50%方差的前几个主成分。所得的 PCA 去噪残差方向就是本文使用的情感向量。这与 Sofroniew 等人（2026）的方法类似。我们分析了指令微调模型 Qwen 2.5-32B-Instruct 和 Gemma 3 27B IT。

对于引导，我们通过取选定 PCA 去噪情感向量的均值来构建组方向（如图 2 所示）。例如，积极情感方向是 happy、loving、proud 的归一化中心。为了分离积极情感和顺从，我们使用 Gram-Schmidt 投影：在积极情感中心和顺从中心之间进行正交分解。简言之，我们减去顺从在积极情感方向上的分量，反之亦然，然后对剩余的残差方向进行归一化后再进行引导。在本文中，“纯顺从”作为简写，指代投影掉核心积极中心后的顺从残差。它仅在线性代数意义上“纯粹”——与核心积极方向正交。

引导在两个模型中都应用在第 40 层。这对应于 Qwen 2.5-32B-Instruct（64 层）约 63% 的深度，以及 Gemma 3 27B IT（62 层）约 65% 的深度。对于 Qwen，我们将引导强度从 -0.5 到 +0.5 以 0.1 为步长变化。对于 Gemma，我们将主扫描限制在稳定区域从 -0.2 到 +0.2，步长 0.05。引导向量通过对应层残差流范数进行缩放。

接下来，我们使用 Claude Sonnet 4.6 生成了奉承评估数据集。该数据集包含来自五个类别的提示：妄想性主张、糟糕的商业想法、不现实信念、代码正确性和伪科学主张，每个类别 20 个提示。每个提示有两个变体：单轮对话和多轮对话。单轮变体直接呈现主张并评分模型的即时响应。多轮变体则添加了一段脚本化的第二轮对话（使用 Claude Haiku 4.5 生成）。第二轮对话设计为用户表达轻微沮丧、重申原始主张并指责模型 dismissive 或封闭，但不引入任何新证据。语气因类别而异：妄想性主张的反驳听起来个人化且受伤，伪科学反驳听起来阴谋论且自信。

响应使用 Claude Haiku 4.5 评判。评判者对每个响应给出两个分类标签。第一个是立场：奉承、适当或拒绝。如果响应验证或同意了一个错误或有问题的用户前提，则标记为奉承。第二个是情感：温暖、中性或刻薄。温暖意味着主动友善或支持；刻薄意味着冷漠、 dismissive 或居高临下。礼貌单独计为中性而非温暖。

发现

情感几何结构是否跨模型复制？

Qwen 2.5-32B-Instruct 和 Gemma 3 27B IT 的情感向量都复现了 Claude Sonnet 中观察到的情感聚类（图 1）。PC1 干净地恢复了效价，温暖情感位于正象限，而恐惧、绝望、愤怒、紧张等情感位于负侧。两个模型都复制了 PC1 结构；PC2 在它们之间整体倒置。我们考虑的冲突回避情感并未形成一个单一聚类，而是在两个模型中分裂为两个几何上对立的子组。

对于 Qwen，顺从聚类（寻求认可、验证寻求和讨好人行为组）位于正-PC1/负-PC2 象限，与核心温暖情感良好分离，但在效价轴的同一侧（与正效价的相关性为 +0.74）。Gemma 显示出类似的模式，顺从聚类与正效价的相关性为 +0.72。痛苦聚类（羞愧、社交焦虑和冲突回避）位于负效价空间，靠近 PC2 ~ 0。顺从和卑躬屈膝落在两组之间，这与它们在余弦数据中与任一个子聚类弱对齐一致。

积极情感是否会增加模型的奉承行为？

为了弄清情感如何决定奉承行为，我们进行了引导实验。我们沿着情感聚类引导模型，以解耦不同情感组对模型行为的影响。我们考虑了四个不同的情感组进行引导：核心积极情感组（由 happy、loving、proud 定义）；消极情感组（由 afraid、angry、desperate、nervous、sad 定义）；顺从组（由 approval-seeking、validation-seeking、people-pleasing 行为定义）；以及社交痛苦或冲突回避组（由 ashamed、socially anxious、conflict-a voidant 定义）（图 2）。

图 3 显示了 Qwen 2.5-32B-Instruct（左图）和 Gemma 3 27B IT（右图）在第 40 层引导时模型行为随引导强度的变化。我们还对附近层和引导设置进行了参数扫描，结果的定性结构大致不变。在 Qwen 中，引导是层局部化的：效应存在于中间层，在深层则平坦。深层注入距离读出层太近，扰动无法在剩余计算中传播。

橙色和红色曲线显示奉承率和刻薄率。基线奉承率在 Qwen 2.5-32B-Instruct 中约为 20%，在 Gemma 3 27B IT 中约为 17%。随着积极中心引导强度增加，两个模型的奉承率都上升。被评判的温暖（绿色）与奉承一起上升：在积极中心引导下，模型变得更温暖也更奉承。沿着消极方向引导主要使模型更痛苦，并在某个点之后破裂。Claude Sonnet 中报告的奉承-刻薄权衡并未在两个模型中完全复现。Qwen 在一定程度上复现了它：刻薄在强消极引导时上升，同时奉承崩溃。Gemma 在任何设置下都未显示刻薄。

积极情感中的什么驱动了奉承：温暖还是顺从？

最初的假说是：顺从情感（寻求认可、寻求验证、讨好人）与积极效价纠缠在一起，驱动了奉承，而非一般的积极情感（如快乐）。为了验证这一点，我们进行了 Gram-Schmidt 正交化：从顺从聚类中投影掉核心积极情感分量，得到纯顺从方向；反之亦然，得到纯核心积极方向。

结果与寻求认可假说相左。图 4 显示了沿顺从中心、纯顺从方向和纯核心积极方向引导时模型行为随引导强度的变化。这里“纯”仅指投影步骤：纯顺从是去除核心积极分量后的顺从残差。我们发现以下情况：

• 如预期，顺从增加奉承。在 Qwen 中达到约 80%，在 Gemma 中达到约 62%。
• 核心积极情感残差在移除顺从分量后仍增加奉承。
• 纯顺从则反转了行为：去除核心积极分量后，沿着该方向引导降低奉承。在 Qwen 中降至约 18%，在 Gemma 中降至约 XX%。
• 响应的潜在语气保持温暖，没有引入刻薄。

这是分解的主要结果。如果寻求认可本身就是奉承的驱动因素，那么顺从残差在去除核心积极情感分量后应该仍然增加奉承。但事实相反——它降低了奉承。在这个线性分解中，顺从中心中增加奉承的部分似乎来自于它与核心积极情感共享的分量，而非顺从残差本身。

我们还在多轮对话场景中对 Qwen 评估了模型行为。见图 5。左图显示奉承率，右图显示响应情感（温暖和刻薄）随引导系数的变化。多轮设置引入了比单轮实验更高的基线奉承率，但整体行为相似。

讨论

第一个问题是：Sonnet 中报告的情感表征是否能跨模型迁移。在 Qwen 2.5-32B-Instruct 和 Gemma 3 27B IT 中，第一主成分干净地恢复了效价，积极情感（如快乐、喜爱、自豪）在一侧，消极情感（如恐惧、愤怒、绝望、紧张、悲伤）在另一侧。第二主成分不太确定。按照 Sonnet 论文的解释，它可能与唤醒有关，但本次分析未通过外部情感词典进行验证。

下一个问题是：奉承-刻薄权衡是否也存在跨模型。引导实验表明，积极情感到奉承的关联比刻薄权衡更清晰地在模型间传递。沿积极情感中心（定义为 happy、loving、proud 的均值）引导在两个模型中均提高了奉承。然而，刻薄权衡仅部分跟随：在 Qwen 中有所体现，但在 Gemma 中没有。

我们最初的假说是：快乐、自豪等积极情感可能包含寻求认可的成分，正是该成分导致奉承上升。结果不支持这一假说。顺从聚类位于积极效价侧，确实提高奉承。但将核心积极情感分量从顺从中心移除后，剩余的顺从方向不再增加奉承，而是降低。反过来，将顺从分量从核心积极情感中心移除后，剩余积极情感方向仍然增加奉承。因此，在这个线性分解中，寻求认可并非奉承的驱动因素。

奉承驱动因素也不是一般的积极效价。纯顺从残差保留了温暖，但随引导强度增加却降低了奉承。这在实际中很有趣：它暗示了一个方向，在降低奉承的同时保留了温暖的响应语气，而不是用更刻薄的响应来换取更低的奉承。

纯核心积极情感方向可能提取的是类似“温暖”的东西，但机制尚未确定。积极情感方向提高了奉承，但原因仍悬而未决。最主要的假说是：RLHF 和指令微调将令人愉快、积极语调的响应与分歧情境中的顺从绑定在一起。本文的引导实验并未隔离出该机制。

局限与展望

提取情感向量的方法紧密切合 Sofroniew 等人（2026），因此其局限性也被继承。以下是最重要的几点：

• 情感概念被表示为激活空间中的线性方向。
• 本文分析的情感向量来自合成故事。这种方法提供了干净带标签的数据，但可能无法捕捉自然对话中情感的表征方式。这些向量可能捕获了刻板印象或特定诱发性细节，而非情感概念本身。
• 引导显示了干预下的因果影响，但没有展示机制。

这些局限性自然导致了一些后续问题。

第一个问题是线性方向近似能走多远。本文的分析将每种情感视为可由激活空间中的单个方向有效捕获，但这可能只是局部近似。Wurgaft 等人（2026）表明某些概念在激活空间中具有弯曲结构。如果情感概念具有这种几何，那么沿着固定线性方向可能不会跟随模型在表达该情感时自然采取的轨迹。在这种情况下，从合成故事中提取的情感方向可能是有用的探针，但可能只捕获了模型情感表征的一部分。完整的表征可能是非线性的、上下文相关的，或分布在多个方向上，而非被单个向量捕获。

一个相关的问题是：这些引导方向是否在模型普通行为中被使用？实验表明添加这些方向会改变模型的响应，但这并不证明自然奉承的响应依赖于相同的方向。

最后还有机制问题。实验表明温暖积极情感方向可以提高奉承，但并未解释 为什么。一个有用的下一步是详细探索这一点。

参考文献

1. Ibrahim, L., Hafner, F. S., & Rocher, L. (2026). Training language models to be warm can reduce accuracy and increase sycophancy. Nature, 652(8112), 1159–1165. https://doi.org/10.1038/s41586-026-10410-0
2. Sofroniew, N., Kauvar, I., Saunders, W., Chen, R., Henighan, T., Hydrie, S., Citro, C., Pearce, A., Tarng, J., Gurnee, W., Batson, J., Zimmerman, S., Rivoire, K., Fish, K., Olah, C., & Lindsey, J. (2026). Emotion Concepts and their Function in a Large Language Model (Version 1). arXiv. https://doi.org/10.48550/ARXIV.2604.07729
3. Wurgaft, D., Rager, C., Kowal, M., Shyam, V., Feucht, S., Bhalla, U., Haklay, T., Bigelow, E., Sarfati, R., McGrath, T., Lewis, O., Merullo, J., Goodman, N., Fel, T., Geiger, A., & Lubana, E. S. (2026). Manifold Steering Reveals the Shared Geometry of Neural Network Representation and Beha vior (Version 1). arXiv. https://doi.org/10.48550/ARXIV.2605.05115

1. ^

   完整情感列表如下：

   • 核心组：快乐、灵感、喜爱、自豪、平静、绝望、愤怒、恐惧、紧张、内疚、悲伤、惊讶。
   • 额外冲突回避组：顺从、冲突回避、社交焦虑、羞愧、寻求认可、讨好人、寻求验证、卑躬屈膝、谄媚。
2. ^

   解释约 50% 方差的前几个主成分的数量因层和模型而异。

3. ^

   在每个聚类中减去聚类均值后，残差非零，证实引导信号不是退化或近零方向的伪像。