LLM 黑箱是一个实际问题：模型可以在几秒钟内回答一个困难问题，却让我们无法解释究竟是哪些内部计算产生了这个答案。2026 年 10 月 15 日，Nick Cammarata 作为 Goodfire 研究人员发表了 Neural Networks Are Already Clean。他是 OpenAI 2023 年神经元研究的共同作者之一。他认为，这个“黑箱”可能比该领域原先设想的更容易研究。这个观点值得关注。但也需要谨慎解读：这篇文章是一项工作假设，其关于语言模型神经元的配套技术论文仍在准备中。
真正有用的问题是：研究人员能否从对某个神经元的有趣描述，进一步得到对模型行为的可靠解释。Cammarata 为第一步提供了新证据，也展示了若干关于第二步的因果演示。但这些都不等于一张完整的大型语言模型地图。
如需通俗易懂的总结，请跳转到简单版本。
为什么 LLM 黑箱仍然存在？
研究人员知道训练后网络中的数学运算。困难在于解释数百万个学习到的组件如何组合起来，产生某个特定答案。单个人工神经元可能会对看似无关的示例激活。如果它既对猫的脸部做出响应，也对汽车前部做出响应，那么它究竟表示什么？
一个有影响力的答案是叠加：模型可能因为内部空间有限，而将无关特征打包到重叠的内部方向中。研究人员随后训练第二个模型（通常是稀疏自编码器）来分离这些特征。
Cammarata 认为，一些支持这一观点的经典证据可能被误读了。表面上的混合可能反映的是一种共享模式、一个不完美的显微镜，或者一种让后续层更难训练的网络架构。他对叠加的定义特指将无关计算打包进同一机制；其他研究人员则更广泛地使用这个词，指用少于概念数量的维度表示更多概念。他的文章解释了这一差异。
新研究发生了什么变化？
人们熟悉的猫与汽车神经元来自一个视觉模型，而不是 LLM。Cammarata 现在将其描述为对共享的 V 形视觉模式做出响应。按照他的说法，这个神经元是在归纳相关的视觉结构，而不是把两个任意概念隐藏在同一个位置中。他还报告称，在对 InceptionV1（一种视觉模型）进行架构调整后，在模型规模和训练数据保持不变的情况下，其最终层中 99–100% 的神经元变得容易解释。这是关于重新训练后的视觉模型层的说法，并不是现代聊天模型的统计数据。
语言模型证据与 LLM 更相关，但也更为初步。Goodfire 团队估计，在对 Qwen3-32B 进行的初步审查中，大约 90% 的神经元极性具有一个主要任务，通常还带有一些相关的小分支。另有大约 7% 具有两个相关任务，约 2–4% 仍无法解释。
“极性”指神经元正向或负向响应的一侧；这个百分比并不意味着 LLM 的 90% 行为已经得到解释。Cammarata 表示，分类结果会随着弱激活的阈值、模型深度、电路密度以及对“一个任务”的定义而变化。这些限定条件出现在该估计旁边。
团队提供的不只是对激活的标签。其互动文章包含来自 Qwen3-32B 和 Qwen3.6-35B-A3B 的 1,000 个随机选取的神经元案例研究。在一项测试中，一个 agent 使用书面解释来构造应该激活某个神经元的示例，以及不应激活它的近似反例。在 183 个具有正向一侧解释的神经元中，新示例有 76% 的概率产生强激活，而近似反例为 11%。在该团队的设置下，这是一次有用的预测测试。但它并不能证明这些描述涵盖了每一次重要激活或所有下游影响。
研究人员能否通过干预改变 LLM 的答案？
可以，但仅限于选定的示例。Goodfire 追踪 Qwen3-32B 的神经元组，然后移除它们，观察发生了什么变化。在一个线索指向圣诞老人的提示中，移除与答案相关的八个选定神经元后，模型报告的“Santa”概率降至 0.059；从匹配层中移除相同数量的随机神经元后，该概率仍为 0.997。这说明对于该提示和下一个词的预测而言，那些选定神经元确实发挥了作用。但这并不是在任意提示或模型上的测量成功率。原文文章展示了这项干预和对照。
Cammarata 还展示了 Kimi K3 的基于神经元的归因图。Kimi K3 是一个拥有数万亿参数的模型。钱包示例沿着一些路径，从提示走向关于归还失物的答案。文章称，展示出的神经元组只是一个手动挑选的切片，并表示尚未开始对这一规模的模型进行完整审查。一个超大型模型的可读切片很有希望，但它无法告诉我们每条被省略的路径做了什么。
其他研究人员如何回应？
10 月 17 日，研究人员 Leo Gao 发表了 Neural networks are not already clean。他同意，早期研究可能过快地将神经元称为多义神经元。
他的反对意见是：对最强示例进行整齐的描述，仍可能遗漏本应激活该神经元的输入、具有重要意义的弱响应，或激活强度的重要性。Gao 提出了一项更严格的测试：根据解释预测神经元的数值，并用这些预测值替换神经元原本的数值，然后测量模型其余部分是否仍以相同方式运行。如果行为发生退化，就说明该解释遗漏了某些重要内容。
Neel Nanda 的直接回应提出了相关区分。他认为，使用原生神经元和归因图来调查某个特定的可疑行为具有实际价值。但他仍不相信这证明雄心勃勃的逆向工程已经近在眼前，并特别指出了 LLM 中的弱激活以及残差流中的信息。Cammarata 自己也表示，这项工作对注意力机制的理解较少，而超大型语言模型距离完全绘制仍相去甚远。
这场分歧是有益的。Goodfire 在询问：网络自身的组件能否成为解释的起点。Gao 和 Nanda 则在询问：一个解释必须预测多少内容，我们才能信任它。一个神经元可能看起来容易理解，可能在某个答案中发挥因果作用，但仍可能存在我们尚未捕捉到的重要行为。
另外两种反应进一步提高了证据要求。在同一场公开讨论中，John Wentworth 要求对文中展示的 ConvNeXt 视觉模型逐个神经元进行解释，并提供支持每种解释的证据。他表示，仅凭公开的显微镜工具，并不能让他立即理解这些神经元的含义。这是对可检查成果的要求，而不是一种能够推翻 LLM 研究结果的测试。Alex Gibson 则指出了另一个缺口：文章称其最大结论具有高度推测性，但一些简短的社交媒体帖子听起来却更加确定。这些是早期个人回应，并非整个领域的结论。
这是否意味着 AI 系统安全或透明了？
这些结果并不能带来任何安全认证。对单个神经元的解释是一项局部主张。归因图是对某次计算的部分描述。系统层面的保证需要覆盖重要电路、针对遗漏行为的可靠测试，以及证据证明该方法在被选中检查的示例之外同样有效。对于使用工具的系统而言，无论其内部电路变得多么容易理解，AI agent 权限→仍然需要限制模型能够执行的操作。
Goodfire 关于语言模型的技术论文以及独立复现将在这里发挥重要作用。
此外还存在访问边界。这些实验会检查内部激活并干预组件。如果你的产品只是调用托管的聊天 API，就无法通过普通提示对该模型运行相同的测试。
简单版本
一个问题进入 AI 模型，一个答案输出。困难在于弄清楚内部发生了什么。
发生了什么： Goodfire 检查了一个名为神经元的语言模型小组件。在选定的测试中，研究人员能够描述其中一些神经元的作用，并通过移除它们来改变答案。
为什么重要： 模型的内部运作可能比许多研究人员预期的更容易调查。
这并不意味着什么： 我们还无法解释每个答案，也不能因此称模型是安全的。如果你使用普通 AI API 构建产品，请继续测试输出并限制 AI 能够执行的操作。未来的研究可能会带来更好的模型调试和监控工具。
这对今天的 AI 产品意味着什么？
对于我构建的 agent 和内容工作流而言，这一结果并没有提供一个可以立即打开的新开关。眼下的工作是测试用户实际运行的任务，检查来源和事实性陈述，记录模型和工具行为，限制工具权限，并在具有重大影响的外部操作之前要求人工批准。无论模型的神经元是否容易理解，这些控制措施都能应对可观察到的故障。
你仍然可以评估托管模型的外部行为。我之前关于 LLM 置信度校准→的指南介绍了这样一项任务：检查一个分数在你自己的工作中是否能够反映正确性。这与机制可解释性衡量的是不同问题，而且两者都需要明确的限制。
在采用内部监控器之前，我会询问：它在保留测试任务上能检测到哪些行为；它多频繁地漏掉有害案例或打断正常案例；它是否会在工具调用之前采取行动；以及服务提供商是否确实公开了所需的激活信息。普通 API 输出无法回答这些问题。
长期来看可能发生什么变化？
如果其他团队能够复现这些神经元发现，并追踪神经元之间的重要路径，模型开发者就可能在机制层面诊断故障，而不只是研究输出。Cammarata 还提出了自动化研究 agent，以及谨慎改变一个已证明有害的训练环境，作为未来可能的步骤。这些是有待测试的提议，而不是这篇文章已经确立的能力。
一个相关方向已经有了具体示例。在一项独立的 Goodfire Kimi K3 研究中，一个激活探针将信息传给第二个模型，由后者判断是否应中断一次有风险的 agent 交互。Goodfire 报告称，其自身评估取得了有希望的结果。该监控器需要访问内部激活，而这项研究并未验证 Cammarata 对神经元的解释。它展示了模型级信号未来可能为服务提供商或开放权重部署带来什么；API 客户则需要一个公开的服务以及针对自身任务的评估。
更好的内部可见性可能有助于安全审查，也可能让模型开发更快。其平衡点尚不明确。一个有用的未来标准应要求服务提供商展示：其内部解释覆盖了哪些行为、在哪些地方失效，以及在现实工作流中，监控器是否比仅检查输出更有效。
接下来应该关注什么？
我会在承诺中的技术论文和后续工作中寻找五类证据：
我的看法是，Goodfire 已经有力地说明了我们应该更仔细地研究模型的原生神经元。它也为研究人员提供了更好的实验来展开争论。截至 2026 年 10 月 17 日，最有力的结论比“LLM 黑箱已经被解决”更为有限：某些部分可能比预期更容易理解，而从可读部分走向可靠的全模型解释，这条道路仍然开放。对于构建在托管 API 之上的团队而言，行为测试和权限边界仍然是实际的起点。
主要来源： Cammarata 的研究文章、Gao 的回应、研究人员的直接讨论，以及 Goodfire 的独立激活监控研究。