北京时间昨夜，Meta 正式发布了号称史上最强的开源模型 Llama3，消息一出，直接在各榜单上霸榜，官方直指 GPT-4 级别的体验。这一波操作，确实让人眼前一亮。
想第一时间上手体验？方法很简单。如果本地还没用过 Llama3 8B，可以直接在终端里用 ollama 搞定：
ollama pull llama3 // 4.7G 不算大
ollama run llama3
不过，中文支持方面还有提升空间。遇到复杂一点的问题，它就开始直接飙英文了。比如有读者问了一个有趣的问题：
你觉得范畴学和大模型transformer有什么联系吗？
模型是这样回应的：
**共同点：**
- 组合性：两者都强调将复杂结构拆解成更小、更可控的组件，然后再组合成更复杂的实体。在范畴学里，通过morphisms（函数）和functors（类别之间的转换）来实现；在Transformer中，则通过将输入序列表示为嵌入向量，再使用自注意机制和前馈网络来转换。
- 抽象性：两个框架都依赖抽象来捕捉本质特性和关系。范畴学从具体结构抽象出来，聚焦于底层模式和关系；Transformer则从原始输入序列抽象出来，关注token之间的语义关系及其上下文表示。
**启发和类比：**
- 函子性：Transformer的自注意机制可以看作一个函子，将输入序列映射到输出序列，类似范畴学中函子的角色。
- morphisms的组合：编码-解码架构可以被视为组合多个“变换”来生成最终输出，这与范畴学中morphisms的组合方式形成呼应。
- 高阶思维：两者都展现出高阶思维，即把复杂结构表示为更小组件，再通过这些组件进行推理和操作。
**影响：**
虽然没有直接证据表明Transformer受范畴学启发，但两者之间确实存在有趣的关联。探索它们之间的关系，可能会为自然语言处理乃至更广泛的领域带来新的洞见。
话说回来，有学术研究指出Llama在英文环境下工作得最好（相关论文可参考：arxiv.org/abs/2402.10588）。这背后有一个可能的原因：大模型在embedding阶段学习到的高维概率向量，本质上是一种语言空间。虽然这个空间并非英语本身，但训练数据中英语的语法结构、语义群分类必然会对它产生深远影响。因此，模型内部呈现出类似英语的“生成”方式，一点都不奇怪。
还好，我们可以让它事后翻译成中文。当要求模型“把你这个回答翻译成中文”时，它会给出这样的结果：
范畴学和Transformer 模型之间确实存在一些关联。
**共同点：**
- 组合性：both Category Theory 和Transformer 模式强调组合性，即将复杂结构分解成更小、更可管理的组件，然后将其组合起来形成更多复杂的实体。在范畴学中，这通过morphisms（函数）和functors（转换之间的类别）实现。在Transformer 模式中，这通过将输入序列表示为嵌入向量，然后使用自注意机制和 feed-forward 网络来转换实现。
- 抽象性：both 框架依赖于抽象性，以捕捉基本特征和关系。范畴学抽象化 away from具体结构，focus on underlying patterns 和 relationships 之间。Transformer 模式抽象化 away from raw 输入序列，focus on token 之间的语义关系和它们的上下文表示。
**启发和类比：**
- 函子性：Transformer 的自注意机制可以被视为一个函子，它将输入序列映射到输出序列，类似于范畴学中的函子，它将对象从一个类别映射到另一个类别。
- morphisms 组合：Transformer 的编码-解码架构可以被视为组合多个“morphisms”（变换）来生成最终输出序列，类似于范畴学中的 morphisms 组合。
- 高阶思维：both 框架展示了高阶思维，即将复杂结构表示为更小的组件，然后使用这些组件来reason about 和manipulate 这些结构。
**影响**：虽然没有直接证据表明Transformer 模式是由范畴学启发的，但可能性仍然存在。两者之间的关联很有趣，探索它们的关系可能会带来新的见解和innovation 在自然语言处理领域以外。
可以看到，翻译后的质量还是有提升空间，但作为开源的8B模型，能做到这一点已经相当令人印象深刻了。