大型语言模型——那些能像人一样聊天的AI系统——最近彻底刷屏了。毋庸置疑，它们的能力很强，覆盖面也很广。 但一个很自然的问题冒了出来：这些AI模型到底能有多大？答案其实挺有意思的，它不仅反映了语言模型的发展轨迹，也给我们打开了了解其潜在应用的一扇窗。 ## 两种测量方法 当专家们聊到AI进步时，通常关注两个维度：训练模型用了多少数据，以及模型包含多少参数。 举个最熟悉的例子：ChatGPT的前身GPT-3，训练数据接近45 TB的文本，参数超过1750亿。而其他AI模型还在往大了走，据说有些大公司正在开发超过1.6万亿参数的模型。 这些数字听着很炫，但到底意味着什么？咱们先拆解一下，看看参数到底是什么。 参数，简单说就是AI模型根据看到的数据来生成输出所依赖的值或变量。以GPT-3这样的语言模型为例，输出就是文本。 IEEE会员Yale Fox打了个比方：“尽管它们看起来真的很神奇，但你可以把（自然语言模型）想成高度复杂的自动补全函数。你输入问题（通常叫‘提示词’），模型就会帮你‘自动补全’答案。” 输出基于之前识别出的模式。对大型语言模型来说，自动补全函数要复杂得多——因为模型在更多数据上训练过，参数也更多。 Fox补充道：“参数的数量影响输出的多样性；参数越多，输出就越不容易重复。” 这就引出了第二个问题：45 TB的文本到底有多少信息？答案是——相当多。1 TB大约相当于650万页以常见格式（比如Word文档或PDF）存储的文档。 IEEE高级会员Eleanor “Nell” Watson表示：“一般来说，在很多类型的模型里，训练数据越多，性能越好。这能让模型更深入地理解数据中的基本模式和关系。” ## 最佳设计 但参数数量并不总是和训练数据大小成正比。比如，你可以在10本书上训练一个非常大的模型，也可以在1000本书上训练一个较小的模型，最终性能可能差不多。 Watson指出：“更大的模型训练成本成倍增加，而且更难检查偏见等问题，也更难解释。如果参数太多而数据太少，模型更容易过拟合——也就是从一个过于突出的例子中做出不准确的概括。” 单纯拥有大量数据也不一定是好事。Fox说：“来自世界各地的10 TB推文，可能还不如来自维基百科的1 TB基于事实的知识有用。” ## 规模问题 这种情况引出了AI圈里一些有趣的问题：AI模型到底能有多大？ 研究人员注意到，把模型参数数量翻倍，性能未必跟着翻倍。构建这样的模型可能需要数倍的资金、时间和计算资源。一个解决办法是增加训练数据量，但问题在于：需要多少数据？数据够不够？ Watson认为：“因此有人提出，很多最新模型的最大限制因素，可能实际上是缺乏足够规模和高区分度的高质量数据，让它们无法满负荷运行。” 那么，语言模型最近几个月为什么能实现这么大的飞跃？ Watson指出，这是多种因素共同作用的结果：参数数量增加、数据利用更充分、训练技术改进。ChatGPT背后的工程师特别强调了一种“human-in-the-loop”的方法——根据人类评估者的反馈不断微调和改进模型。 正如《IEEE计算机杂志》最近一篇文章指出的，研究人员已经转向了各种技术来提升AI模型及其效率，包括更好的硬件和软件开发、不同的计算机架构，以及使用文本、图像或视频多模式训练数据。 文章作者最后总结道：“AI模型规模持续扩大的趋势似乎没有停止的迹象。尽管如此，只有少数大公司和机构能跟上这一趋势，因为进入门槛相当高。”