本次查询:GLM
中文解释:通用语言模型
常见场景:当需要理解一个同时具备强大文本理解与生成能力的国产大模型(如ChatGLM)背后的技术原理时 / 会接触到GLM。
一句话解释
GLM是一个通过“自回归空白填充”技术,将文本理解和生成任务统一起来的通用语言模型预训练框架。
为什么会被关注
GLM作为ChatGLM系列模型的基石,其优秀的性能让国产大模型受到广泛关注。它提出的统一框架挑战了传统上区分“编码器”和“解码器”的范式,为构建多功能大模型提供了新思路,在学术和产业界都颇具影响力。
核心逻辑
GLM的核心是“自回归空白填充”。模型会随机挖去输入文本中的一些片段(空白),然后以自回归的方式,根据所有上下文(包括被挖空位置前后的文本)来预测并填充这些空白。这个过程同时学习到了文本的内部信息(理解)和连贯生成(生成)能力。
常见场景
GLM主要作为基础架构用于预训练阶段,其衍生模型(如ChatGLM)则广泛应用于对话、文本摘要、代码生成、知识问答等场景。研究人员也常基于GLM框架进行模型架构的改进和创新实验。
容易混淆的点
GLM常与统计中的“广义线性模型”缩写混淆,但在AI领域特指此语言模型框架。另外,GLM是底层架构,而ChatGLM是在此基础上经过对话微调后的具体产品,两者是“发动机”与“整车”的关系,不应等同。
