当人们探讨大语言模型时,OpenAI的GPT系列和Meta的LLaMA常被首先提及。然而,谷歌在这一领域的布局同样深入且具备坚实的技术积累。早在2022年4月,谷歌便首次公开了其Pathways Language Model,即PaLM。该模型的参数量规模巨大,达到5400亿以上。与主流大语言模型类似,PaLM是一个多功能系统,能够处理文本生成、内容编辑、信息摘要以及代码编写等多种任务——这一设计思路也与后来谷歌将AI能力整合进Workspace应用(如Docs和Gmail)的策略高度一致。
到了2023年谷歌I/O开发者大会,PaLM迎来了重要升级。谷歌首席执行官桑达尔·皮查伊正式推出了下一代大模型PaLM 2,并开放了体验通道。此次更新的目标十分清晰:对标当时业界领先的GPT-4,并在数学计算、代码生成、逻辑推理、多语言互译以及自然语言生成等关键能力上实现了全面强化。
更值得关注的是其产品化路径。谷歌为PaLM 2设计了四种不同规模的版本,由轻量到强大,依次命名为:Gecko(壁虎)、Otter(水獭)、Bison(野牛)和Unicorn(独角兽)。这一布局颇具巧思。最小的Gecko版本极为精简,可在移动设备上高效运行,甚至支持离线环境下的交互应用。这种覆盖从终端到云端的完整体系,意味着PaLM 2能够通过微调适配广泛的产品生态,从而服务于更庞大的用户群。
PaLM 2的核心特性与优势
那么,PaLM 2具体在哪些方面取得了突破?总体而言,其在多语言处理、逻辑推理以及代码生成三大维度的显著提升,构成了该模型的核心竞争力。
- 卓越的多语言能力:这是PaLM 2的突出优势。模型在训练中涵盖了超过100种语言的文本语料,训练规模远超前代。因此,它在理解、生成与翻译各类语言的复杂文本时表现更为出色——无论是成语、诗歌还是谜语等传统机器难以处理的语境,PaLM 2都展现出更强的应对能力。测试表明,它甚至能够通过部分高级语言水平的“精通”级考试。
- 强大的逻辑推理:推理与常识判断的提升,得益于高质量的训练数据。PaLM 2的数据集广泛包含了科学论文与蕴含数学表达式的网页内容。正是这些优质资料,使其在逻辑推导、常识问答和数学问题求解方面,呈现出更贴近人类思维的进步。
- 高效的代码生成:在编程领域,PaLM 2基于海量公开源代码进行了预训练。它不仅熟练掌握Python、JavaScript等主流编程语言,还能生成如Prolog、Fortran和Verilog等专业领域语言的代码,展现出优秀的泛化能力与专业水准。
