OpenAI新研究：稀疏模型破解大模型黑箱，Ilya团队揭秘
在人工智能领域，大模型的可解释性一直是研究者们重点关注的问题。近日，OpenAI发布了一项关于训练小模型的研究成果，旨在让模型的内部机制更易于人类理解，为提升模型可解释性提供了全新的视角。
免费影视、动漫、音乐、游戏、小说资源长期稳定更新！ 👉 点此立即查看 👈
OpenAI指出，当前支撑ChatGPT的语言模型结构复杂，其具体工作原理尚未被完全掌握。这项研究正是为了缩小这一认知差距。研究人员提出的核心思路是训练稀疏模型，这类模型神经元连接数量较少，但神经元总量庞大，通过简化神经网络结构，使其决策过程更易于解读。
研究人员认为，尽管推理模型通过思维链展现的可解释性在短期内具有一定价值，能够捕捉到模型的“欺骗”等行为，但完全依赖这一特性并不可靠，且随时间推移可能失效。要更深入地理解模型机制，需要对模型计算过程进行完整的逆向工程。然而，在复杂密集网络中，每个神经元与其他数千个神经元相连，且执行不同功能，理解难度极大。因此，训练拥有众多神经元但每个神经元连接较少的模型成为研究的关键突破点。
基于这一思路，研究人员以现代语言模型基础架构（类似GPT-2）为基底，仅做一处关键改动——强制将模型大部分权重设置为0，从而训练出具备稀疏特性的小规模模型。
获得稀疏模型后，研究人员着手找出模型在各任务中的“回路”。这里的“回路”指模型精准完成特定任务的最小计算单元，由节点和边组成，其规模通过节点和边数量衡量。论文将回路边数几何平均值作为可解释性量化指标。为评估模型可解释性，研究人员设计了一系列简单算法任务，并将每个模型精简到能完成任务的最小回路。
以一项Python任务为例，任务要求“hello”必须以单引号结尾，“hello”必须以双引号结尾，模型需根据字符串开头引号类型预测结尾引号并自动补全。最终得到的回路仅使用5个残差通道、第0层的两个MLP神经元，以及第10层的一个注意力查询键通道和一个值通道。其流程为：先将单、双引号分别编码到不同残差通道；再用MLP层将编码结果转换为两个通道，一个检测任意引号，一个区分单、双引号；接着通过注意力机制忽略中间token，找到前一个引号并将其类型复制到最后一个token；最后预测匹配的结尾引号。
论文还对变量绑定等更复杂行为进行研究，这些行为的回路虽难以完全解释，但仍能得出相对简单的部分解释以预测模型行为。研究人员还发现，训练更大、更稀疏的模型，能生成功能更强大、回路更简洁的模型，这表明该方法有望用于理解更复杂行为。
不过，研究人员也强调，这项工作尚处早期阶段。稀疏模型比前沿模型小很多，且计算过程仍有不少“黑盒”部分。目前稀疏模型训练效率较低。为解决这一问题，研究人员提出两种途径：一是从现有密集模型中提取稀疏回路，而非从头训练；二是开发更高效的模型训练技术以提高可解释性。
热门专题
热门推荐
速览攻略：世界圣羽翼王核心打法与全面解析 本攻略将为你完整呈现《洛克王国》世界圣羽翼王的通关秘籍，深度剖析两种高效实战打法：追求极致速度的“燃薪虫四回合速通”与稳定输出的“酷拉无限连击流”。文章将进一步解析这位翼系精灵王的技能机制、属性克制关系及其在PVE与PVP中的实战定位，帮助你彻底掌握应对其隐
速览：工程系统核心机制解析 在《异种航员2》中，工程系统是整个抵抗力量赖以运转的“战略后勤中枢”。无论是研发新武器、生产重型装甲还是制造先进飞行器，所有实体装备的产出都依赖于此。简言之，该系统的核心运作围绕着两大关键：工程师人力的高效配置与全球稀缺资源的精细化调度。工程师的数量直接决定了每个项目的建
核心速览 在《洛克王国世界》中，治愈兔是一位兼具功能性任务角色与实战辅助能力的精灵。它的价值不仅在剧情推进中体现，更在于对战里出色的治疗与防护表现。本文将为你全面解析治愈兔的精准获取位置、种族属性特点以及实战技能搭配，助你顺利捕捉并最大化其在队伍中的作用。所有关键信息将通过清晰的图文内容详细展示，确
速览 在《红色沙漠》中，挑战传说之狼这一强大的任务BOSS，需要玩家进行充分的准备并遵循完整的任务流程。整个过程环环相扣，你必须首先参与塞莱斯特家族的势力任务，通过完成任务将家族声望提升至指定等级，才能解锁【传说之狼】的专属讨伐任务，最终直面这个传说中的强大生物。 红色沙漠传说之狼怎么打 归根结底，
【宝可梦Pokopia】舒适度全解析：快速提升环境等级的核心秘诀 你是否正在探索《宝可梦Pokopia》世界，并希望有效提升宝可梦栖息地的舒适度？舒适度不仅是衡量宝可梦快乐程度的晴雨表，更是解锁游戏核心内容、加速发展的关键驱动指标。本攻略将系统性地为你揭示提升舒适度的核心途径，涵盖从装饰栖息地、建造