游乐游手机版
首页/AI热点日报/热点详情

本体工程才是AI黑箱真正钥匙拆开Claude大脑也没用

类型:热点整理2026-07-17
从神经科学到知识论:AI可解释性研究的路径探讨 「解释的真正意义,不在于凝视机器内部,而在于审视机器所注视的外部世界」。 2026年7月,Anthropic研究团队发布了一篇题为《A global workspace in language models》的研究论文。借助名为J透镜的工具,研究者在C

从神经科学到知识论:AI可解释性研究的路径探讨

「解释的真正意义,不在于凝视机器内部,而在于审视机器所注视的外部世界」。

2026年7月,Anthropic研究团队发布了一篇题为《A global workspace in language models》的研究论文。借助名为J透镜的工具,研究者在Claude模型中识别出一个可观测、可干预且具有因果影响力的神经活动区域——J-Space。

这一发现为何如此重要?因为它首次让研究者能够洞悉模型在推理过程中的“内部思维”。换言之,这标志着可解释性研究从仅仅对模型行为进行外部解释,迈向了对其内部状态进行实时观测的新阶段。

J-Space借鉴了认知神经科学中的全局工作空间理论,将语言模型的推理活动类比为人类意识层面的信息处理过程。这一做法在方法论与认识论层面均构成了重要突破,同时也为AI安全领域提供了全新的监控维度。

然而,正因为其影响深远,我们更需审慎检视这一路径的可能局限。J-Space研究的根本取向是内在主义——它将可解释性的核心问题定义为“理解模型内部发生了什么”,试图像神经科学家利用fMRI扫描人脑那样,用J-lens对语言模型的神经活动进行扫描。

这里隐含了一个关键预设:可解释性的答案深藏于模型“体内”。但事实上,一个模型的输出是否真正可被理解,不仅取决于其内部状态的可见性,更取决于这些状态与世界中的事态、语义规范以及使用者认知框架之间的关联。

打个比方:仅凭观察神经活动来理解模型的话语,就如同仅凭观察一个人的脑电活动来理解他所说的话——你或许能捕捉到神经关联,却根本无法触及话语的真正意义。

更微妙的问题在于,J-Space借用了全局工作空间理论——这个原本用于解释人类意识的理论——来解释语言模型。在这一过程中,一种范畴错误悄然发生:功能层面的同构性,被误等同于认识论层面的等价性。模型没有主观经验,J-Space中的激活模式仅是数学运算的产物,而非任何意义上的心灵状态。

更深层的问题在于,J-Space研究本质上是一项工程导向的工作,它将“可解释性”窄化为“可观测性”与“可干预性”。然而,在更广泛的知识论传统中,“解释”的内涵远比这丰富——它涉及将现象纳入更普遍的规律框架,涉及提供理由与依据,还涉及对决策正当性的论证。

J-Space能够告诉我们模型“正在思考什么”,却无法告诉我们模型为何以这种方式思考,它所依据的“理由”是什么,这些理由在何种意义上可被视为“合理”。这些问题的答案,并不存在于神经活动模式之中。

上述局限指向一个共同的症结:J-Space乃至整个以神经网络为焦点的可解释性研究,始终将“模型本身”视为唯一的解释对象,问题的起点和终点都局限于模型。

那么,是否存在另一种视角?本文尝试提出一种不同的进路——将可解释性的追问从模型内部转向模型所处理的信息,从神经科学的内部主义进路转向知识论的“信息本体论”进路。

这一转换基于一个简洁的观察:大型语言模型本质上是信息处理器,其输入与输出均为文本。而文本的意义——也就是我们真正需要解释的东西——并不存在于神经元的激活值中,而存在于这些符号与世界、与知识、与人类实践之间的关系之中。

举个具体例子:当一个模型回答“巴黎是法国的首都”,我们需要解释的不仅是模型内部哪个区域被激活了,更是这个陈述在何种知识体系中成立,它以什么为依据,这些依据的可靠性与正当性如何,这个回答与人类已有的地理知识之间是什么关系——这些问题,没有一个能通过扫描神经活动来回答。

因此,本文主张将可解释性问题的核心从“模型如何思考”转向“模型处理了什么样的信息、这些信息具有怎样的本体论地位”,从而将可解释性的对象从模型本身扩展至模型所嵌入的整个信息生态——包括训练数据的结构、知识的表征方式、推理过程中的信息流转,以及输出与外部知识体系的映射关系。

以J-Space为代表的可解释性研究将神经科学范式引入了人工智能领域,其贡献在于让我们得以窥见模型“内部发生了什么”。然而,这一进路的内在主义取向、对功能类比的依赖以及工程化视角对“解释”概念的窄化,共同构成了其认识论上的三重局限。

从更根本的层面来看,要真正推进大语言模型的可解释性问题,需要超越对模型内部状态的凝视,转而从知识论的视角出发,系统考察模型所处理的信息——其来源、结构、表征方式、流转路径及其与外部知识体系的关系——的本体论基础。正是这一视角的转换,构成了本文研究的出发点。

本体论源起:可解释性的哲学基础

「概念无直观则空,直观无概念则盲」。

先抛出一个古老的哲学追问:人类究竟如何理解世界?康德在《纯粹理性批判》中给出了经典回答:他认为人类心灵并非被动接收外界刺激,而是先天配备了十二种“纯粹知性概念”(也就是“十二范畴”)作为认知的形式框架。

康德从人类逻辑判断的十二种形式中推导出这些范畴,将其分为量、质、关系和模态四组:量涉及“多少”,质涉及“是什么样”,关系涉及事物之间的联系,模态涉及存在的方式。

康德的范畴理论本质上是一种关于“可理解性”的本体论承诺:只有能被纳入这十二种范畴框架之下的东西,才能成为知识对象;超出框架的“物自体”永远不可知。这意味着康德意义上的“本体论”不再追问世界“本身是什么”,而是追问“世界对我们呈现为什么”。

这对于AI可解释性的深层启示在于:当我们解释一个语言模型的输出时,真正“可解释”的不是内部神经元的物理激活,而是信息被范畴化、被结构化为可理解知识的过程。神经激活属于物自体层面,模型输出的话语意义则属于现象界层面,只有被置于某种认知结构框架中才能被理解和评判。

本体是AI可解释性的“钥匙”。在分析层面,它提供了一套完备的概念框架来描述模型所处理信息的结构化形态——我们可以追问一个陈述中是否隐含了“实体与偶性”的归属、“因果性”的判断或“模态”的承诺,从而系统描述模型构建了何种知识结构,而非笼统地说“模型似乎理解了因果关系”。

在规范层面,它为可解释性提供了评判标准:若模型内部表征中确实形成了与本体相对应的结构化模式,其输出就具备被理解的基础;若始终无法映射到这些本体之上,则无论输出多么流畅,在认识论意义上都是不可解释的。

以康德范畴作为可解释性的哲学钥匙,并非主张模型必须“拥有”这些范畴——康德的范畴是主体的先天认知条件,而模型则是功能上的实现问题,它可能通过不同的神经计算路径在功能上等价地区分实体性、因果性或模态差异。

关键在于:可解释性不要求模型内在机制透明到每一个权重的程度,而要求我们能够确认模型在信息处理层面所形成的结构是否映射到了人类用以理解世界的范畴框架之上。

从理论到实践:本体工程与大语言模型的融合

本体论提供的是关于“可理解的结构应当是什么样”的规范性回答,但这一回答本身并不自动转化为可运行的技术系统。本体论若无本体工程的支撑,便只是悬置在空中的概念游戏。

本体工程作为将哲学范畴实例化为可计算、可维护、可追溯的技术实体的实践领域,构成了从理论到应用的必经桥梁。

在人工智能可解释性问题上,本体论与本体工程的关系尤显根本:前者告诉我们应当追问什么样的知识结构,后者则负责在模型、数据和系统之间实际构建起这样的结构。

大语言模型的出现,使本体工程获得了前所未有的发展动能,也反过来提出了全新的工程挑战。传统本体构建依赖领域专家的人工参与,流程漫长、成本高昂,且难以适应知识更新和领域演变的节奏。

而大语言模型凭借其从海量文本中提取语义模式和知识关联的能力,正在从根本上重塑本体工程的实践形态。

在类定义、关系抽取、属性构建等核心本体学习任务中,语言模型能够以远超人工作业的效率完成大规模知识的结构化提取。更为关键的是,语言模型在识别概念之间的层级关系、同义关系和关联关系方面展现出的语义敏感度,使得本体构建从“专家手工编制”演进为“人机协作生产”乃至“自动生成式构建”。

这种转变的意义不仅在于效率提升——它使本体的构建具备了前所未有的可扩展性和领域覆盖度,使得原本只有少数关键领域才能享有本体支持的局面,开始向更多垂直场景和快速变化的知识领域开放。

与此同时,本体工程的反向赋能同样不可忽视。大语言模型固然强大,但其推理过程的不可见性、输出的不可验证性以及对训练数据统计规律的依赖,共同构成了可解释性的根本障碍。

本体在此扮演的工程角色是多重的:它作为结构化的知识供给者,为模型提供经过验证的领域知识底座;作为推理的校验框架,对模型的输出进行一致性约束和逻辑校准;更根本地,作为解释的锚定结构,使模型的每一步推理都能够被映射到明确定义的类、属性和关系之上。

当一个模型的输出可以追溯至其所依赖的本体条目,解释便不再依赖于对神经网络内部状态的猜测,而是建立在对知识结构本身的追溯之上。这正是可解释性从“透视黑箱”向“展示知识结构”转变的工程基础——前者在技术上面临不可逾越的困难,后者则是一个可设计、可优化、可验证的工程问题。

在这一双向融合中,“AI友好的本体框架”成为一个关键的工程命题。传统本体面向描述逻辑推理机设计,其语法、公理和推理机制均围绕确定性符号推演优化;而大语言模型的介入,从根本上改变了本体的消费者形态与使用场景。

这一变化要求本体设计原则做出相应调整——本体应当收敛其职责,专注于清晰定义领域中的对象、关系、行为与规则,即为模型提供推理所依赖的“语义骨架”;而具体的推理过程——规则的选取、组合与应用——则交还给语言模型自身的泛化能力。

职责的重新划分带来了明确的工程收益:本体不必追求逻辑完备性而陷入复杂公理化的泥沼,而是以简洁性和可维护性为前提,为模型输出提供稳定的语义坐标。

在此框架下,本体的构建须面向大语言模型的调用接口进行优化——其类定义与关系描述应便于模型理解与使用,结构化知识应便于模型检索与引用,约束规则应便于模型进行输出验证。这样的本体既非替代模型推理的符号引擎,亦非仅供查阅的静态背景资料,而是嵌入推理链路之中、可被实时调用与追溯的解释性基础设施。

可解释性的未来:解释模型 vs 解释影响

本文以J-Space为引,经由康德十二范畴的哲学奠基,最终落脚于大语言模型与本体工程的融合实践,完成了一条从神经科学到知识论、再到工程实现的思想线索。

贯穿其中的核心判断是:大语言模型的可解释性困境,并非仅仅源于模型内部机制的不可见性,更源于我们长久以来将“解释”等同于“透视”的思维惯性。著名科幻作家斯坦尼斯瓦夫·莱姆在其著作《索拉里斯星》里描述了一片覆盖整个星球、能读取人类记忆并将其具象化的胶质海洋,堪称“AI黑箱”的终极隐喻。

海洋能处理海量信息、生成超越人类预期的结果,但其底层逻辑对人类而言完全不可解码——它既非善意亦非恶意,只是遵循着人类无法参透的自身规律。

更悲观的是,海洋最终拒绝了人类“驯化”或理解它的一切尝试,暗示认知的终极边界或许客观存在。这一意象恰恰警示我们:即便我们能观测到模型“正在想什么”,也未必能理解它“为什么这样想”。

可解释性问题的真正难点,或许不在于技术手段的不足,而在于问题框架本身的窄化。

突破大语言模型可解释性的可行路径,不应局限于尝试“打开黑盒”这一单一方向,而应同等重视乃至更加重视对模型输出及其现实影响的观察、理解与控制。

本体工程在此提供了关键的实践框架:通过构建AI友好的、可被模型调用和追溯的语义骨架,我们得以将模型的推理锚定在明确定义的知识结构之上,使输出所依赖的类、属性和关系获得可形式化描述与可追溯验证的工程基础。

当模型的每一个陈述都可以被映射到本体所定义的概念框架中时,“解释”便不再是对神经网络权重的解剖,而是对知识结构的展示;当模型输出的依据可以在本体层面被追溯和校验时,“控制”便不再是强行干预内部激活,而是对信息流转路径的规范化管理。

这一视角的转换将可解释性从一项近乎不可能完成的技术挑战,转化为一项可通过工程手段持续逼近的治理目标——它要求我们不再执着于让模型变得完全透明,而是致力于让模型在现实世界中产生的影响变得可理解、可追溯、可问责。

来源:https://36kr.com/p/3899386796656516

相关热点

继续查看同栏目近期热点。

延伸阅读

补充最近整理过的热点入口。