这是关于自然潜在变量精确结果系列的第二篇。建议先阅读引言和上一篇。本篇分享该框架产生的一些关键理论结果。数学内容比上一篇更多，但大部分被收在了可折叠章节中[1]。

假设读者已经熟悉自然潜在变量、典型相关分析[2]和信息论的基本概念。即使从这里开始，教学弧线也设计得合理——当然，读过前面的内容会更有帮助。

Consider an Elephant in a Room

设想一下，Alice和Bob各有一台摄像头，从房间的两个对角观察同一场景。他们只能看到自己的画面。两个画面相关——毕竟是同一个房间——但彼此又不完全相同。那么，一个自然潜在变量需要满足两个条件：

• 冗余性：每个人仅凭自己的画面就能确定这个变量；
• 中介性：给定这个变量后，两个画面之间不再携带关于对方的额外信息——它解释了它们之间所有的一致性。

“房间里有什么”就是最直观的例子[3]。上一篇已经说明，这两个条件对应了经典信息论中两种“公共信息”的概念（Gács–Körner和Wyner），且一个精确的自然潜在变量存在当且仅当某种条件成立——而这一条件几乎被百分之几的噪声摧毁。换句话说，精确的自然潜在变量是测度为0的对象。

所以，自然潜在变量框架建立在近似之上。上述每个条件都对应一个误差项：

• 中介误差：变量未能解释的那部分一致性；
• 冗余误差：在看过Alice的画面之后，Bob的画面仍然能提供关于该变量的额外信息——也就是该变量“卡在”Bob那边、无法从Alice画面单独恢复的部分。

我们把卡住的这部分称为余项（对称地，对Bob也有相应的余项）。

那么，一个很自然的问题来了：这两个误差能同时做到多小？换句话说，自然潜在变量究竟能有多“自然”？

如引言所述，这个问题很棘手，因为核心对象没有通用的闭式解。本篇将在联合高斯分布下给出答案——在高斯情形下，一切都有闭式表达。

断言：对于相关系数为ρ的联合高斯视角，任何冗余误差为零的潜在变量都独立于整个系统。假设变量可以从每个视角精确恢复，那么从全部数据中对该变量的最佳估计，等于仅从Alice画面得到的最佳估计，同时也等于仅从Bob画面得到的最佳估计。于是，同一个量既是一个关于X₁的函数，又是一个关于X₂的函数。如果它有任何变化，那就意味着存在一个来自Alice画面的特征和一个来自Bob画面的特征，它们的相关系数恰好为1——而这是两个相关系数ρ < 1的视角所不具备的（再次归功于Witsenhausen）。因此，该变量只能是常数——一个退化情形，对我们毫无用处。换句话说，非退化的精确自然潜在变量不存在[4]。

A Distribution-free Sum Rule

这两个误差之间由一条恒等式联系，通过简单的互信息链式法则就可以得到。推导如下。

所以，对任意一对视角上的任意潜在变量（无论是什么分布[5]），都有：

（和规则公式）

解释一下：概念中任何一个无法从单一视角读出的比特，要么表现为概念超出共享信息的比特，要么表现为它无法解释的一致性比特。这就已经给出了我们寻找的答案的一部分。

如果要求中介误差为零，那么总余项就等于……而对于高斯情形，最小精确中介的复杂度是……。结果呢？即使两个视角几乎相同，能完美解释所有一致性的概念仍然无法从其中一个视角中恢复到优于半比特的精度。

The Exact Tradeoff Curve

固定一个中介预算d——即你愿意容忍的未解释一致性比特数，从0（解释一切）到I(X₁;X₂)（不解释任何东西）。那么，对于每个d，存在一个最小的单视角冗余误差：

（曲线公式）

其中ρ_d是互信息恰好为d比特的相关系数。下界由一个显式的对称高斯潜在变量达到，细节如下。

下面就是这条曲线的图像：

看曲线的左侧。在精确中介处，余项为……。有趣的是，随着视角变得越发相似，余项反而增加，当ρ → 1时趋近于半比特。直到ρ = 1的精确点，余项才降为零——因为这时两个视角完全相同，直接取视角本身作为潜在变量就行。

The Cliff

这意味着：要获得一个完全共享的概念，代价在视角趋同的过程中不断上升，直到它们完全重合的那一刻，代价才骤降为0。换句话说，近乎完美的一致，恰恰是让完全共享的概念最昂贵的地方；只有精确的一致才让它免费[7]。

The Exchange Rate

这条曲线在左侧也是最陡的：第一点中介容忍度最有价值。容忍仅仅0.02比特的未解释一致性，就能使余项从…降到…——40%的削减，只用了7%的解释折扣。当d → 0时斜率为无穷大。在右侧，交易逐渐平缓；到……时，每增加一比特余项，就能多解释8比特的一致性。随着ρ → 1，这个比率还会更好[8]。

换句话说，高度重叠的视角能以极低的成本获得丰富的共享概念——几乎免费。而中等或低重叠的视角，则没有什么值得共享的概念存在。

The Floor

也许你不关心单个误差，只想要一个最优平衡的概念——即最小化两个误差中较大的那个。那就是曲线与对角线相交的点：在ρ = 0.95时约为0.2比特，随着ρ → 1，该值上升到……[9]。这就是自然性本身的底线。在误差容忍度低于某个阈值时，噪声视角上不存在任何自然潜在变量。每个共享概念都有一个由噪声量决定的误差底线。

Example: A Biased Die

上面那个半比特的悬崖，看起来相当反直觉。它是高斯代数的人为产物吗？现在来看一个熟悉的例子：有偏反赌。假设反赌的偏置未知，Alice得到一串投掷结果，Bob得到另一串独立的结果。偏置是它们共享的东西，也是它们相似的全部原因——所以它是精确中介，中介误差为零。冗余误差的问题是：有多少偏置信息卡在了Alice那一串之外？

为了估计偏置，Bob的数据将Alice的样本量翻倍。样本加倍使后验方差减半，而方差减半恰好值半比特——无论Alice原本有多少数据。下图展示了Beta-二项模型中的计算结果：每面100次投掷时余项为0.49比特，10^7次时仍为0.46比特[10]。

What this Means

两个观察者从不同视角观察同一个世界，他们永远持有不完全相同的概念。任何双方都能获得的概念都有一个余项——卡在另一侧、只有合并视角才能解决的部分。余项的大小由视角的重叠程度决定，只有当视角完全重合时才变为零。

回想一下，自然抽象议程的动机是：希望一个强大的AI——与人类建模同一个世界——能够形成与我们相同的概念，从而我们能在它的表征中找到或指向这些概念。这条权衡曲线[11]告诉我们：AI对任何共享概念的版本相对于我们的版本都有一个余项，反之亦然。一个潜在而有用的问题是：对于我们所关心的概念，余项有多大？什么时候小到足以信赖？[12]

What's Next

智能体同时跟踪一个对象的多个特征（如形状、颜色、位置），每个特征的重叠程度不同。下一篇：多特征情形下的最优共享概念会保留重叠多的特征，丢弃重叠少的特征。结合相关性随距离衰减的特性，这意味着共享概念会以离散方式逐步丢弃模式（特征），而不是模糊地渐变。我认为这可以在神经网络的学得表示上进行检验。

另外，本篇允许潜在变量是随机的。确定性概念是否总能做到几乎同样好？这是Wentworth & Lorell的500美元悬赏问题；这里的结果只解决了高斯情形（线性误差传递），我计划在后续系列中专门讨论[13]。

本篇所有数字和图表均可由以下脚本生成。

1. ^

   约定：对数底为2，量纲为比特。文末附有生成所有数字的Python脚本链接。

2. ^

   想深入理解本篇的读者，我强烈推荐观看Michael Gastpar教授关于CCA和CICA的讲座，本篇工作正是在此基础上展开。

3. ^

   关于图中每个经典对象对应什么，见上一篇的评论。

4. ^

   该断言对任意数量的视角都成立，且对更强的“可从每个视角的补集恢复”的冗余版本也成立；后者需要一个额外概念（潜在变量成为Gibbs再采样过程的不变量，遍历性迫使不变量为常数）。

5. ^

   互信息代数不假设任何分布类型，因此该恒等式对一般情形成立。这是本文最漂亮的结果之一，尽管推导简单。

6. ^

   中介误差为d的潜在变量，总余项至少为…，因为…是递减的。所以底线在预算点上成立，而不只是边界上。

7. ^

   我怀疑这正是心智和系统使用离散（数字）模式来表示信息的原因之一：符号语言、纠错码、遗传密码等。

8. ^

   曲线的斜率有闭式形式：…；边际汇率总是剩余相关性的角点比率。右端剩余为全部信息，得到8:1；左端剩余趋于0，比率也趋于0，即d=0处斜率为无穷大。边际共享变量解释的一致性比例随剩余相关性缩放，而它引发的余项则随视角间的差异程度缩放。

9. ^

   …是ρ→1时对角线交叉点的极限，即最坏情况；对固定ρ<1，平衡最优成本略低。

10. ^

    这里的数据是可交换的而非高斯的，说明半比特并非高斯假设的人为产物。事实上，这是Fisher信息的一个表述（数据加倍使方差减半），渐近地适用于任何正则参数族。

11. ^

    这条曲线对每个分布都存在，不仅限于高斯。和规则是分布无关的，因此中介预算d下的最小总余项为I(X₁;X₂) - max_{…}，其中…是松弛Wyner公共信息。它对任意两个视角都有定义，但一般情形下没有闭式解。其左端点已包含信息：精确中介时总余项为…，对一般对而言为正——这就是半比特的一般情形类比。

12. ^

    这是推测性的：我不太确定实际计算余项对实际用途有多大价值。希望以后能写更多。

13. ^

    一般情况下的剩余困难情形靠近可分解分布（微小混合区域），而高斯方法显然无法到达。也许以后会有更多讨论。