在化学研究领域，深入理解分子的性质始终是加速药物研发与新型材料发现的核心驱动力。传统方法高度依赖人工实验，不仅耗时费力、成本高昂，而且效率极为低下。究其原因，分子的性质与行为极其复杂，每一种特性都需要大量实验反复测试与验证，这无疑增加了研究难度。

以药物开发为例，研究人员通常需要合成并测试海量候选分子，逐一评估其活性、毒性、药代动力学等关键参数。每个环节都耗费巨额资金，且研发周期往往以年为单位计算。显然，这种传统模式难以持续满足现代科学对高效、精准的需求。

IBM研究团队近日发布了一项重磅成果——专为化学领域设计的超大模型SMI-TED，其参数规模高达2.89亿。该模型并非在普通数据集上训练，而是从全球最大的免费公共化学物质结构数据库PubChem中，精心筛选出9100万个分子作为训练素材。这些分子共产生了约40亿个分子标记。经过如此大规模、高质量的预训练，SMI-TED具备了自动提取分子特征、精准预测分子性质与行为的能力。

为了让模型更好地理解化学领域的SMILES字符串（一种用字符串表示分子结构的语言），SMI-TED的基础架构选择了深度双向变压器编码器。这种编码器能够“细嚼慢咽”地处理每一个标记，捕捉标记之间的复杂关系与上下文信息，从而为模型提供更准确、更丰富的表示。

与此同时，架构中还巧妙地结合了编码器-解码器机制来生成SMILES字符串。简单来说，编码器先将输入的分子信息压缩成一个潜在表示，解码器再依据这个“压缩包”逐步还原出完整的SMILES字符串。整个过程确保了生成的字符串能够准确反映分子的真实结构与性质。

具体来看，深度双向变压器编码器的工作流程如下：首先，对SMILES字符串中的每个标记进行嵌入映射，将其投射到高维空间中。接着，利用Transformer的注意力机制，让这些嵌入不断交互、更新，从而学习标记之间的依赖关系。由于采用双向学习，编码器能够充分考虑标记前后的所有信息，对分子结构的理解自然更加深刻。

而编码器-解码器架构在生成环节扮演了关键角色。解码器会根据编码器给出的潜在表示，逐字符地预测SMILES字符串中的下一个标记。在预测过程中，解码器不仅会参考之前已生成的字符，还会持续结合编码器提供的信息，从而保证生成的字符串既连贯又准确。

高质量的数据集是模型性能的根基。研究人员从PubChem数据库中收集了1.13亿条SMILES字符串作为原始数据集，经过去重和清洗后，最终得到9100万个独特且有效的分子结构。然后，他们使用专门设计的分子标记器构建词汇表，对这9100万个分子进行标记化处理，最终生成了一个包含约40亿个分子标记的大词汇表。

在预训练模块方面，SMI-TED采用了双阶段策略。第一阶段，模型使用大部分样本单独对标记编码器进行预训练。之所以这样设计，是因为如果一开始就让标记编码器直接参与整个模型的训练，其收敛会面临较大挑战，不稳定性可能拖累整体效果。不如先让它专心学习分子标记的特征与模式，打好基础。

当标记编码器达到一定收敛程度后，第二阶段启动：模型使用全部样本对整个模型进行预训练。此时，编码器-解码器层也开始加入训练，通过学习标记编码器提供的信息，来重建完整的SMILES字符串。这一阶段的目的是让模型掌握分子标记之间的关系，学会如何将这些标记组合成正确的分子结构。

那么，SMI-TED的实际表现究竟如何？研究人员在ChEMBL、Tox21、ToxCast、ZINC、QM9等多个子数据集上进行了综合测试。结果相当亮眼：

在ChEMBL数据集中，SMI-TED对分子活性与性质的预测非常精准，预测值与实际值的误差很小。在Tox21和ToxCast数据集中，模型对化合物的毒性预测表现出色，这为药物安全性评估提供了极具价值的参考。在ZINC数据集中，SMI-TED展现出强大的分子生成能力，能够生成具有特定性质的新颖分子结构。而在QM9数据集中，它对分子量子力学性质的预测精度同样很高，为理解和设计新型材料提供了重要支撑。