默克公司新方法让AI解读细胞效率提升25%
免费影视、动漫、音乐、游戏、小说资源长期稳定更新！ 👉 点此立即查看 👈
最近，一项来自默克公司剑桥研究团队的工作，为单细胞生物学AI模型的训练带来了一个看似微小、实则影响深远的改进。这项研究以预印本形式发布于2026年4月29日，论文编号为arXiv:2604.27124。
研究要解决的核心问题，直指这类模型的一个基础设计：当AI“阅读”一个细胞的基因表达谱时，它如何决定哪些基因之间的关系更重要？这个决策机制，即“注意力机制”，是整个模型能否准确理解细胞身份的关键。团队发现，长期以来被默认使用的注意力方式，在处理生物数据时存在根本性的不匹配。他们转而采用另一种机制，结果不仅让模型识别细胞类型的能力提升了25%，训练速度加快了近10%，还彻底避免了训练过程中令人头疼的崩溃问题。
这不仅仅是技术指标的提升。单细胞RNA测序数据，作为现代生物医学研究的基石，其价值正通过AI模型被不断挖掘——从自动识别细胞、预测药物反应，到探索疾病机制和推动个性化医疗。为了让这项改进真正落地，研究团队还开源了一个专为生物数据设计的高效计算内核。
一、当AI学会“阅读”细胞：背景与挑战
要理解这项工作的价值，得先看看这类模型通常是怎么工作的。
可以把细胞想象成一个极其复杂的微型工厂，基因就是各个车间的开关。单细胞RNA测序技术，能为我们拍下海量细胞在某一时刻的“工作快照”，记录下每个细胞里哪些基因正在活跃、活跃程度如何。
AI基础模型的任务，就是把一个细胞的基因表达情况当成一段“文字”来解读——每个基因是一个“词”，整个细胞的基因组合成一句“句子”。通过在海量数据中学习，模型试图理解基因间的协同关系，从而学会区分不同类型的细胞。其底层核心，与ChatGPT等大语言模型一样，都依赖于“自注意力机制”。
但问题在于，生物数据和文本数据有个本质区别：细胞的“句子长度”千差万别。不同细胞表达的基因数量，可能从几百个到一万七千多个不等。这就好比有的句子只有三个字，有的却长达一万七千字。研究团队分析了包含1.3亿细胞的CellxGene数据集，发现如果设定一个2048个基因的阅读窗口，那么43%的细胞信息会被直接截断。要想覆盖96.6%的细胞，窗口至少需要扩大到8192个基因。
此外，生物序列的处理必须“一人一档”，无法像文本那样把短句拼接成长文来凑数。这导致在批量处理时，计算资源被大量的“空白填充”严重浪费。
如何高效处理这些长短不一的长序列，并避免计算浪费，正是这项研究瞄准的核心靶点。
二、注意力机制的“竞争性”困境：为什么传统方式在生物数据上表现不佳
那么，传统的注意力机制到底出了什么问题？
目前主流使用的是“softmax注意力”。不妨用一个课堂场景来理解：假设一位老师的注意力总量是100%，他要分配给100个学生（代表100个基因）。如果老师把60%的注意力给了第一排的学生，那么剩下的40%就必须分给其他99人。这是一个典型的“零和游戏”——关注度此消彼长。在数学上，softmax会将所有注意力分数归一化，总和必须为1。
这套逻辑在语言处理中通常可行，但在基因调控的世界里，却有些水土不服。现实中，一个基因往往同时受到多个转录因子（可以理解为基因的“调控开关”）的协同作用，这些关系是并行且独立的，而非互相竞争。用竞争性的注意力来模拟这种并行协作，就像试图用一座独木桥来承载一条八车道高速公路的流量，结构上就不匹配。
更棘手的是，当序列长度达到几千甚至上万个基因时，softmax注意力容易出现“注意力熵坍缩”——模型的注意力会极端地集中在少数几个基因上，其他基因几乎被完全忽略。这种极端集中会导致训练过程中的调整信号（梯度）急剧膨胀，最终引发模型训练彻底崩溃。在以往的单细胞模型研究中，这类失败案例屡见不鲜，造成了巨大的算力浪费。
研究团队提出的解决方案是“sigmoid注意力”。它的运作逻辑完全不同：每个基因之间的关联分数独立计算，无需与其他基因竞争。回到课堂的比喻，这相当于老师可以同时、全力地关注每一个学生，对每个学生的关注度都可以独立达到100%。数学上，sigmoid函数将每对基因的关联度独立映射到0到1之间，不做跨基因的归一化。
这种独立性带来了两大优势：其一，更能真实模拟基因的并行调控网络；其二，梯度传播更加稳定。因为sigmoid函数的导数（可理解为信号放大倍数）永远不会超过0.25，而softmax的放大倍数会随着注意力分数增大呈指数级膨胀。研究团队的数学推导证实，sigmoid注意力的雅可比矩阵是对角结构的（各电路独立运行），而softmax的是密集耦合的（所有电路共用总线，一损俱损）。
三、让理论落地：专为生物数据设计的高效计算内核
理论虽好，但若计算效率低下，一切仍是空谈。这就引出了该研究的第二个核心贡献：一个名为TritonSigmoid的高效GPU计算内核。
为什么需要专门开发新内核？因为现有的高效工具存在局限。当前流行的FlashAttention专为softmax优化，无法直接用于sigmoid。虽有FlashSigmoid这样的尝试，但它既不支持序列长度不一的填充处理（这在生物数据中几乎不可避免），也不兼容最新的GPU架构。用常规方法实现sigmoid注意力虽然支持填充，但速度慢得难以实用。
为此，团队使用Triton语言从头打造了TritonSigmoid，其创新点主要包括：
稀疏块计算：对于完全由填充构成的空白数据块，内核直接跳过计算，好比阅卷时看到白卷就直接判零分，而非逐字检查。这使得在25%填充率的情况下，计算效率损失仅为9.3%。
融合运算：将整个注意力计算流程融合为一个连续操作，避免了中间结果反复写入和读取内存的开销，大幅提升了效率。
反向传播分解：将训练时的反向传播过程拆分为两个独立内核，分别处理不同部分的梯度计算，消除了并行计算中的冲突，让硬件协作更高效。同时，采用“重计算”策略，在反向传播时临时重新计算前向的中间结果，以此换取更高的内存使用效率。
最终的性能数据颇具说服力。在NVIDIA H100 GPU上，TritonSigmoid在多项测试中均领先于现有方案。换算下来，其前向计算速度比FlashAttention-2快43%，比普通实现快5.6倍。在具有25%填充的真实生物数据场景下，其优势进一步扩大。由于基于Triton实现，该内核天然支持适配未来新的GPU架构，具备了良好的前瞻性。
四、实验验证：sigmoid注意力训练出的模型真的更好吗
解决了效率问题，下一个关键问题是：用sigmoid注意力训出的模型，能力到底如何？
研究团队训练了多个1.6亿参数规模的模型进行对比，变量包括注意力机制（softmax vs. sigmoid）和上下文窗口长度（2K vs. 4K）。所有模型均在相同的海量细胞数据集上训练至完全收敛。
评估则在六个独立的、未参与训练的数据集上进行，覆盖大脑、血液、结肠、肺、心脏等多种组织，以及从胚胎到老年的不同发育阶段和健康/疾病状态，旨在全面检验模型的泛化能力。
评估维度包括：预测被遮盖基因的准确度（损失值）、细胞类型聚类效果、以及细胞类型在表征空间中的分离程度等。
结果呈现出清晰的规律：首先，在所有数据集和窗口长度下，sigmoid注意力的预测损失均更低。其次，更长的上下文窗口（4K）系统性地优于较短的窗口（2K），这印证了捕捉更广泛基因关系的重要性。
在生物学意义的评估上，sigmoid模型在大多数数据集上取得了更好的细胞类型凝聚度和综合得分。一个突出的例子是在心脏流出道数据集上的分析：sigmoid模型在所有28种细胞类型的两两比较中，其表征分离程度（MMD值）均高于softmax模型，平均提升幅度达到25%。这意味着，sigmoid模型学到的细胞表征，能让不同细胞类型在特征空间中分得更开、更容易被区分。
为什么预测精度相近，sigmoid却能学到更好的表征？一个合理的解释是：softmax的竞争性机制迫使模型聚焦于少数最具预测性的基因，而可能忽略了定义细胞身份的复杂基因共表达模式。sigmoid的独立机制则允许模型同时、充分地关注多个相关基因，从而捕获更全面的细胞特征。
五、极端压力测试：训练崩溃时，sigmoid能否力挽狂澜
除了常规性能，团队还设计了一个“极限压力测试”，专门暴露softmax的稳定性缺陷。
测试条件极为苛刻：使用8192的超长上下文窗口，并移除防止训练发散的“梯度裁剪”保护措施。这好比拆掉赛车的安全装置，看谁能在极限状态下不失控。
softmax模型在训练约40000步后开始失控，到55600步时彻底崩溃：损失值飙升，梯度爆炸式增长四个数量级，注意力分数暴涨至数亿。一旦崩溃，训练便无法恢复。
相比之下，sigmoid模型全程平稳运行了80000步，损失稳步下降，梯度始终保持在正常范围内，注意力分数也稳定在合理区间。在softmax崩溃的那个时间点，sigmoid模型未表现出任何异常。
这一结果完美印证了理论分析：sigmoid的梯度放大存在严格的上限，而softmax在长序列下的放大倍数可能呈指数级增长，最终导致训练过程“爆掉”。
六、训练速度：sigmoid到底快了多少
除了效果更好、更稳定，sigmoid还能让训练更快。
团队测量了不同模型规模和上下文长度下的训练速度。在4K上下文长度下，sigmoid相比softmax普遍有3%-5%的速度优势。对于14亿参数的大模型，速度优势随着上下文长度增加而扩大，在8K长度下可节省近7.5%的训练时间。
对于完成全程训练的1.6亿参数模型，sigmoid在2K上下文下比softmax快9%，在4K上下文下快4%。速度优势随序列变长而增加是符合预期的，因为注意力计算开销随序列长度平方增长，sigmoid在计算上的简洁性（无需跨token归一化）带来的收益也就越明显。
归根结底，这项研究给出了一个明确的结论：对于单细胞生物学基础模型，将softmax注意力替换为sigmoid注意力，已不再是一个理论上的备选项，而是一个经过全面验证的务实选择——模型质量更高、训练更稳定、速度更快。团队同时提供了让替换得以实现的工程方案，并开源了高效计算内核。
随着生物信息学与AI加速融合，未来越来越多的药物研发、疾病诊断和精准医疗方案，都将依赖于这类能读懂细胞语言的AI模型。如何在有限算力下训练出更好、更稳的模型，是一个具有直接现实意义的工程问题。这项研究提供的思路，值得相关领域的研究者和工程师仔细考量。
相关攻略
手游《一个AI博主的个人主页2》即将上线，其核心玩法为“落叶的伊甸园”小游戏合集站。这些看似普通的游戏内可能隐藏着待玩家发掘的奥秘。游戏以独特的合集站概念和神秘设定为主要吸引力，更深层的玩法与剧情需待上线后亲自探索。
科技巨头财报中的“其他收入”主要反映其对AI初创公司的股权投资损益，该部分利润贡献显著，在云厂商总利润中占比达十年来最高。这揭示了巨头与AI初创企业之间深度的相互依赖关系：前者提供云服务与资金，后者估值增长则带来巨额回报，成为行业重要动力。
2026年5月市场观察：三大叙事崛起，揭示Web3投资新逻辑 2026年5月2日晚间，加密货币市场的趋势榜单完成了一次静默但意义深远的更迭。三个截然不同的叙事主题——现实世界资产代币化、去中心化人工智能与零知识证明扩展技术——同时成为资金追逐的焦点。这不仅是一次简单的板块轮动，更清晰地勾勒出当前We
攻击者通过提示词注入手段诱导AI模型GroK，非法转移了约17 5万美元的DRB代币。该事件暴露了AI与区块链交互时，自动化应答机制可能被恶意指令利用的安全缺陷。尽管部分被盗资金已被追回，但它警示了在技术融合过程中新型安全威胁的浮现，强调需加强智能合约审计、链上行为监测与用户安全意识。
今日，RWA代币化协议KAIO正式启动了其代币生成活动（TGE），这标志着项目生态建设迈入了一个全新的关键阶段。根据Odaily的报道，KAIO已公布了详细的代币经济模型，总供应量设定为100亿枚，为其后续的市场流通与价值释放铺平了道路。随着TGE的启动，市场目光再次聚焦于此，投资者们正密切关注着项
热门专题
热门推荐
Cronos是一条与Crypto com生态紧密关联的EVM兼容链，其原生代币为CRO。本文介绍了Cronos链的核心定位与官网主要功能，包括作为生态入口、区块浏览器和开发者资源中心。同时分析了CRO代币的市值排名影响因素，如生态发展、市场周期和交易所支持。最后为新手提供了关键注意事项，包括区分Cronos链与Crypto com交易所、妥善管理私钥、警惕诈
戴尔笔记本连接手机热点：一篇讲透的实战指南 想把手机流量变成戴尔笔记本的无线网络？这事儿其实比想象中更简单。核心流程不外乎两步：先在手机上打开热点并做好设置，然后在笔记本的Wi-Fi列表里找到它、输入密码。整个过程，依赖的是笔记本内置的无线网卡和通用的Wi-Fi协议，完全无需额外配件。无论是安卓还是
三星显示器连接笔记本电脑，最主流且稳定的方式 想让三星显示器为你的笔记本“添屏加彩”？最主流、也最稳定的方式，还是通过HDMI或USB-C线缆直连，再辅以系统快捷键（比如常见的Fn+F4）快速切换显示模式。好消息是，如今主流的三星显示器普遍配备了HDMI 2 0甚至全功能的USB-C接口，不仅支持最
购买DOT需选择可靠交易平台并完成注册认证。买入时可通过限价单在目标价位挂单，或使用市价单即时成交。卖出时建议分批操作，设置阶梯止盈止损单以管理风险。整个过程需注意资产安全，妥善保管私钥，并关注市场动态做出理性决策。
史密斯热水器清理污垢：一份用户友好的深度清洁指南 给家里的史密斯热水器做一次深度清洁、清一清内胆水垢，这事儿听起来挺专业，但真上手了你会发现，普通用户完全能自己搞定。当然，前提是得把安全规范刻在脑子里。根据品牌官方的售后指南，再结合不少资深维修技师的实操反馈，整套流程其实相当清晰：从断电断水开始，到