在人工智能浪潮中,ChatGPT 无疑是当前最受瞩目的明星。但你真的了解它究竟在做什么吗?它为何能生成如此流畅的人类语言?它的能力边界在哪里?又如何让它变得更聪明?本文基于 Wolfram 语言之父斯蒂芬·沃尔弗拉姆的深刻洞见,为你提供一份结构完整、细节丰富的专业教程,帮助你从原理到未来全面理解 ChatGPT。
一、ChatGPT 的基本原理与核心发现
1.1 ChatGPT 到底在做什么?
ChatGPT 的基本概念相当简单:它从互联网、书籍等地方获取人类创造的海量文本样本,然后训练一个神经网络来生成“与之类似”的文本。特别是,它能够从“提示”开始,继续生成“与其训练数据相似的文本”。
这个神经网络由数十亿个非常简单的元素组成,基本操作也非常简单:对于它生成的每个新词(或词的一部分),它都会根据目前生成的文本,将输入依次传递给所有元素一次(没有循环等操作)。
值得注意且出乎意料的是,这个过程可以成功产生与互联网、书籍等中的内容“相似”的文本。ChatGPT 不仅能产生连贯的人类语言,还能根据它“阅读”过的内容来“循着提示说一些话”。但它并不总是能说出“在全局上有意义”或符合正确计算的话——如果没有利用 Wolfram|Alpha 的“计算超能力”,它只是在根据训练材料中“听起来像什么”来说出“听起来正确”的话。
小提示:ChatGPT 的核心能力来自于海量数据学习和简单神经元的大量组合,它更像一个“高级文字接龙”工具,而非真正的“理解者”。
1.2 为什么 ChatGPT 能做到这些?
ChatGPT 的具体工程非常引人注目。但在能够使用外部工具之前,它“仅仅”是从其积累的“传统智慧的统计数据”中提取了一些“连贯的文本线索”。然而,结果的类人程度已经足够令人惊讶了。
正如沃尔弗拉姆所讨论的那样,这表明了一个至少在科学上非常重要的东西:人类语言及其背后的思维模式在结构上比我们想象的更简单、更“符合规律”。ChatGPT 已经隐含地发现了这一点,但我们可以用语义语法、计算语言等来明确地揭开它的面纱。
ChatGPT 在生成文本方面表现得非常出色,结果通常非常类似于人类创作的文本。这是否意味着 ChatGPT 的工作方式像人类的大脑一样?它的底层人工神经网络结构说到底是对理想化大脑的建模。当人类生成语言时,许多方面似乎非常相似。
当涉及训练(即学习)时,大脑和当前计算机在“硬件”(以及一些未开发的潜在算法思想)上的不同之处,会迫使 ChatGPT 使用一种可能与大脑截然不同的策略(在某些方面不太有效率)。
还有一件事值得一提:甚至与典型的算法计算不同,ChatGPT 内部没有“循环”或“重新计算数据”。这不可避免地限制了其计算能力——即使与当前的计算机相比也是如此,更谈不上与大脑相比了。
我们尚不清楚如何在“修复”这个问题的同时仍然让系统以合理的效率进行训练。但这样做可能会使未来的 ChatGPT 能够执行更多“类似大脑的事情”。当然,有许多事情大脑并不擅长,特别是涉及不可约计算的事情。对于这些问题,大脑和像 ChatGPT 这样的东西都必须寻求“外部工具”,比如 Wolfram 语言的帮助。
常见问题 Q&A
- Q:ChatGPT 真的理解我在说什么吗?
A:不。它不“理解”任何事物,它只是根据统计模式生成听起来合理的文本。它没有真正的思考能力,但它的输出在大多数情况下看起来像思考的结果。 - Q:为什么 ChatGPT 有时候会胡言乱语?
A:因为它没有内置的“正确知识”校验机制,它只是根据训练数据中的统计关联进行生成。当遇到训练数据中很少出现或逻辑复杂的问题时,它就容易“编造”看似合理但实际错误的内容。
二、ChatGPT 的局限与未来的路
2.1 机器学习的历史:跨越门槛
机器学习是一种强大的方法,特别是在过去十年中,它取得了一些非凡的成功——ChatGPT 是最新的成功案例。除此之外,还有图像识别、语音转文字、语言翻译……在每个案例中,都会跨越一个门槛——通常是突然之间。一些任务从“基本不可能”变成了“基本可行”。
但结果从来不是“完美”的。也许有的东西能够在 95% 的时间内运作良好。但是不论怎样努力,它的表现在剩下的 5% 时间内仍然难以捉摸。对于某些情况来说,这可能被视为失败。但关键在于,在各种重要的用例中,95% 往往就“足够好了”。原因也许是输出是一种没有“正确答案”的东西,也许是人们只是在试图挖掘一些可能性供人类(或系统算法)选择或改进。
拥有数百亿参数的神经网络一次一个标记地生成文本,能够做到 ChatGPT 所能做的事情,这着实是非同凡响的。
2.2 计算不可约的概念:并非万能
鉴于这种戏剧性、意想不到的成功,人们可能会认为,如果能够“训练一个足够大的网络”,就能够用它来做任何事情。但事实并非如此。关于计算的基本事实,尤其是计算不可约的概念,表明它最终是无法做到的。
2.3 进步不会停止
不过不要紧,重点在于我们在机器学习的实际历史中看到的:会取得(像 ChatGPT 这样的)重大突破,进步不会停止。更重要的是,我们会发现能做之事的成功用例,它们并未因不能做之事受阻。虽然“原始 ChatGPT”可以在许多情况下帮助人们写作、提供建议或生成对各种文档或交流有用的文本,但是当必须把事情做到完美时,机器学习并不是解决问题的方法——就像人类也不是一样。
这正是我们在以上例子中看到的。ChatGPT 在“类人的部分”表现出色,因为其中没有精确的“正确答案”。但当它被“赶鸭子上架”、需要提供精确的内容时,往往会失败。这些例子要表达的重点是,有一种很好的方法可以解决该问题——将 ChatGPT 连接到 Wolfram|Alpha,以利用其全部的计算知识“超能力”。
小提示:ChatGPT 擅长“模糊”的输出,而数学、物理等需要精确答案的场景,建议搭配专用工具(如计算器、数据库、Wolfram|Alpha)使用。
常见问题 Q&A
- Q:ChatGPT 未来会替代人类吗?
A:不会。人类具备真正的理解、创造和不可约计算能力,而 ChatGPT 只是统计工具。更可能的情况是:人类与 AI 协同工作。 - Q:我可以用 ChatGPT 做数学计算吗?
A:不建议直接依赖。ChatGPT 会给出看起来合理的“计算过程”,但可能有数学错误。最好使用 Wolfram|Alpha 或计算器获得精确结果。
三、为 ChatGPT 赋予“思想”:与 Wolfram 语言的结合
3.1 Wolfram|Alpha 如何补充精确性
在 Wolfram|Alpha 内部,一切都被转换为计算语言,转换为精确的 Wolfram 语言代码。这些代码在某种程度上必须是“完美”的,才能可靠地使用。关键是,ChatGPT 无须生成这些代码。它可以生成自己常用的自然语言,然后由 Wolfram|Alpha 利用其自然语言理解能力转换为精确的 Wolfram 语言。
在许多方面,可以说 ChatGPT 从未“真正理解”过事物,它只“知道如何产生有用的东西”。但是 Wolfram|Alpha 则完全不同。因为一旦 Wolfram|Alpha 将某些东西转换为 Wolfram 语言,我们就拥有了它们完整、精确、形式化的表示,可以用来可靠地计算事物。不用说,有很多“人类感兴趣”的事物并没有形式化的计算表示——尽管我们仍然可以用自然语言谈论它们,但是可能不够准确。对于这些事物,ChatGPT 只能靠自己,而且能凭借自己的能力做得非常出色。
3.2 计算语言与自然语言的结合
就像我们人类一样,ChatGPT 有时候需要更形式化和精确的“助力”。重点在于,它不必用“形式化和精确”的语言表达自己,因为 Wolfram|Alpha 可以用相当于 ChatGPT 母语的自然语言进行沟通。当把自然语言转换成自己的母语——Wolfram 语言时,Wolfram|Alpha 会负责“添加形式和精度”。我认为这是一种非常好的情况,具有很大的实用潜力。
这种潜力不仅可以用于典型的聊天机器人和文本生成应用,还能扩展到像数据科学或其他形式的计算工作(或编程)中。从某种意义上说,这是一种直接把 ChatGPT 的类人世界和 Wolfram 语言的精确计算世界结合起来的最佳方式。
3.3 ChatGPT 能否直接学习 Wolfram 语言?
答案是肯定的,事实上它已经开始学习了。我十分希望像 ChatGPT 这样的东西最终能够直接在 Wolfram 语言中运行,并且因此变得非常强大。
这种有趣而独特的情况之所以能成真,得益于 Wolfram 语言的如下特点:它是一门全面的计算语言,可以用计算术语来广泛地谈论世界上和其他地方的事物。
Wolfram 语言的总体概念就是对我们人类的所思所想进行计算上的表示和处理。普通的编程语言旨在确切地告诉计算机要做什么,而作为一门全面的计算语言,Wolfram 语言涉及的范围远远超出了这一点。实际上,它旨在成为一门既能让人类也能让计算机“用计算思维思考”的语言。
许多世纪以前,当数学符号被发明时,人类第一次有了“用数学思维思考”事物的一种精简媒介。它的发明很快导致了代数、微积分和最终所有数学科学的出现。Wolfram 语言的目标则是为计算思维做类似的事情,不仅是为了人类,而且是要让计算范式能够开启的所有“计算 XX 学”领域成为可能。
我个人因为使用 Wolfram 语言作为“思考语言”而受益匪浅。过去几十年里,看到许多人通过 Wolfram 语言“以计算的方式思考”而取得了很多进展,真的让我喜出望外。
那么 ChatGPT 呢?它也可以做到这一点,只是我还不确定一切将如何运作。但可以肯定的是,这不是让 ChatGPT 学习如何进行 Wolfram 语言已经掌握的计算,而是让 ChatGPT 学习像人类一样使用 Wolfram 语言,让 ChatGPT 用计算语言(而非自然语言)生成“创造性文章”,等等。
我在很久之前就讨论过由人类撰写的计算性文章的概念,它们混合使用了自然语言和计算语言。现在的问题是,ChatGPT 能否撰写这些文章,能否使用 Wolfram 语言作为一种提供对人类和计算机而言都“有意义的交流”的方式。是的,这里存在一个潜在的有趣的反馈循环,涉及对 Wolfram 语言代码的实际执行。
但至关重要的是Wolfram 语言代码所代表的“思想”的丰富性和“思想”流——与普通编程语言中的不同,更接近 ChatGPT 在自然语言中“像魔法一样”处理的东西。
换句话说,Wolfram 语言是和自然语言一样富有表现力的,足以用来为 ChatGPT 编写有意义的“提示”。没错,Wolfram 语言代码可以直接在计算机上执行。但作为 ChatGPT 的提示,它也可以用来“表达”一个可以延续的“想法”。它可以描述某个计算结构,让 ChatGPT“即兴续写”人们可能对于该结构的计算上的说法,而且根据它通过阅读人类写作的大量材料所学到的东西来看,这“对人类来说将是有趣的”。
小提示:如果你想用 ChatGPT 做精确计算或数据分析,可以尝试在提示中要求它使用 Wolfram|Alpha 进行验证,或者直接让 ChatGPT 生成 Wolfram 语言代码片段。
常见问题 Q&A
- Q:Wolfram|Alpha 和 ChatGPT 是什么关系?
A:Wolfram|Alpha 是一个基于计算知识库的搜索引擎,能给出精确答案。ChatGPT 是一个生成文本的语言模型。两者可以通过插件或 API 结合,让 ChatGPT 既能“聊天”又能“精确计算”。 - Q:普通人也能学会用 ChatGPT 配合 Wolfram 语言吗?
A:完全可以。你不需要成为编程专家,只需要在提问时加上“请用 Wolfram 语言计算”或“请调用 Wolfram|Alpha 验证”,许多 AI 接口已经支持此类功能。
ChatGPT 的意外成功突然带来了各种令人兴奋的可能性。就目前而言,我们能马上抓住的机会是,通过 Wolfram|Alpha 赋予 ChatGPT 计算知识超能力。这样,ChatGPT 不仅可以产生“合理的类人输出”,而且能保证这些输出利用了封装在 Wolfram|Alpha 和 Wolfram 语言内的整座计算和知识高塔。未来,随着技术融合的加深,我们或许能见证一个既能流畅对话、又能精准计算的新型智能系统的诞生。
