Bet on information

训练损失随着规模扩大继续下降，但试验损失在1.5B参数后就趋于平稳了——这种情况其实揭示了一个非常关键的信息瓶颈：你的模型已经被数据中蕴含的信息量所限制。换句话说，参数再多、算力再强，也突破不了这道墙。

当你在一个相对有限的数据集上训练时，这种信息缺口就会暴露无遗。3.1B参数的模型直接偏离了标度趋势，无论是增加参数还是加大算力，都无法再提升性能。如果要预测基因表达的变化，你需要的不是更多算力，而是信息量更丰富的数据。

这恰恰是Chu和Bo的团队所做的事情。那么，把信息量提升大约30倍，能换来什么？

现在，我们终于可以放心地扩展参数和训练算力了！虽然不清楚这个项目具体花了多少钱，但可以推测：数据采集实验和基础设施大概在几千万美元级别，而算力、人力和研发投入则在几百万美元左右。整体预算更像是一个强化学习（RL）的试错预算，而不是那种数据富集的预训练预算。

有意思的是，我们恰好请到了这个故事中的两位核心人物来做客播客。以Ci Chu和Bo Wang为首，Xaira Therapeutics正在押注一个方向：信息丰富的数据，才是AI驱动药物研发的关键。Chu最近被提升为首席发现官，Bo则成为首席AI科学家，这足以说明Xaira对这个赌注的重视程度。

Reverse engineering the human cell

假如你想弄清楚人类细胞是如何工作的，你会从哪里着手？一个不错的起点，也许是记录不同种类细胞、在不同条件下，哪些基因被表达了（比如，细胞里漂浮着哪些RNA）。

这正是CELLxGENE数据库在做的事情。它由Chan Zuckerberg研究所构建，包含了1.68亿个细胞的数据，每个细胞都对应着一个向量，记录了该细胞中检测到的2万到3万个基因各自的表达次数，外加详细的元数据。这相当于一个约4万亿个条目的巨型矩阵。

如果说蛋白质数据库（PDB）解锁了结构生物学模型（比如Boltz、BioHub），那么CELLxGENE对虚拟细胞模型来说，意义是相同的。就像PDB催生了一大批蛋白质结构预测模型一样，CELLxGENE也激发了大量RNA表达的人工智能模型，以至于RNA表达模型几乎成了虚拟细胞模型的代名词。Bo Wang曾构建了其中最具影响力的模型之一——scGPT，而这也成为了Xaira新模型的起点。

RNA expression ≠ Virtual Cell

在CELLxGENE上训练的模型，能够很好地描述细胞类型与细胞状态之间的关系，但如果你问它“如果我们改变某个基因的表达会怎样？”，它就不太灵了。基因表达的变化之间高度相关，在大多数情况下，我们很难（甚至不可能）理清因果链条。

然而，如果你能一次只“调低”一个基因的旋钮，那就完全不同了。这样一来，你就能观察到某个基因的上游和下游分别是什么，可以判断出是A导致了B和C，还是B导致了A和C，又或者是B导致A，而C又导致B……当然，这里面可能会有循环反应，也可能存在二阶、三阶效应（即多个基因同时改变才会发生的情况），但一阶效应本身就是一个很好的起点，而且很可能已经告诉我们很多关键信息了。如果你对所有的基因都做一遍这种实验，也许就能训练出一个模型，预测当你改变某个基因（比如通过药物或基因编辑）时，细胞会发生什么——甚至，你还能找出实现特定基因表达变化的最不具侵入性的方法。

X-Atlas → X-Cell

这恰恰是Chu和Bo的团队所做的事情。他们构建的数据集叫做X-Atlas，而模型则命名为X-Cell。

在这期节目里，我们聊了以下几个核心话题：

• 为什么团队最终放弃了自回归模型，转而投向扩散模型？
• 基于CRISPR的实验，如何实现数百万次测试的并行运行，并最终为X-Atlas和X-Cell提供原始数据？
• 模型在真实人类细胞的真实实验室实验中，泛化能力如何？
• 为什么之前不少模型都打不过一个简单的线性基线，而他们却做到了？
• 如何论证“把所有先验知识都扔进去”这种策略的合理性，以及这种做法与数据和架构本身相比，效果如何？

Bo还跟我们分享了一些作为学术领袖与行业领袖相比的（重大）优势，以及他的实验室是如何跟上AI创新那令人瞠目的速度的。

1. 这些晋升是在我们录制完节目之后发生的。
2. 级联反应中当然可能存在循环，也可能存在二阶、三阶效应（即多个基因同时改变才会发生的情况），但一阶效应是一个很好的起点，而且很可能已经告诉我们很多需要知道的信息了。