LLMのブラックボックスは、実務上の問題です。モデルは難しい質問に数秒で答えられる一方で、どの内部計算がその答えを生み出したのかを私たちは説明できません。2026年10月15日、OpenAIの2023年のニューロン研究の共著者であるNick Cammarataが、Goodfireの研究者としてNeural Networks Are Already Cleanを発表しました。彼は、この「ブラックボックス」は、研究分野が想定していたよりも研究しやすい可能性があると主張しています。この主張は注目に値します。同時に、慎重に読む必要もあります。このエッセイは作業仮説であり、言語モデルのニューロンに関する付随する技術論文はまだ発表前です。
有用な問いは、研究者がニューロンについての興味深い記述から、モデルの挙動に関する信頼できる説明へと進めるかどうかです。Cammarataは最初の段階を裏付ける新たな証拠と、二つ目の段階について複数の因果的な実証を提示しています。しかし、いずれも大規模言語モデルの完全な地図ではありません。
平易な英語による要約については、簡単な説明へ移動してください。
なぜLLMのブラックボックスは残り続けるのでしょうか？
研究者たちは、訓練済みネットワーク内の数学的操作を把握しています。難しいのは、何百万もの学習済みコンポーネントがどのように組み合わさって、特定の答えを生み出すのかを説明することです。単一の人工ニューロンが、一見無関係に見える例に対して活性化することがあります。猫の顔と車の前面の両方に反応するなら、それは実際には何を表しているのでしょうか？
影響力のある答えの一つが重ね合わせ（superposition）でした。モデルは、利用できる空間が限られているため、無関係な特徴を重なり合う内部方向に詰め込んでいる可能性があります。そこで研究者たちは、しばしばスパースオートエンコーダーと呼ばれる第二のモデルを訓練し、それらの特徴を分離します。
Cammarataは、この見方を支える古典的な証拠の一部が誤読されていたと主張しています。見かけ上の混合は、共有されたパターン、不完全な顕微鏡、あるいは後段の層の訓練を難しくしたネットワークアーキテクチャを反映している可能性があります。彼の重ね合わせの定義は、無関係な計算を同じメカニズムに詰め込むことに特化しています。一方で、他の研究者は、次元数よりも多くの概念を表現することをより広い意味でこの言葉によって表します。彼のエッセイでは、この違いが説明されています。
新しい研究で何が変わったのでしょうか？
よく知られた猫と車のニューロンは、LLMではなく視覚モデルに由来します。Cammarataは現在、それが共有されたV字型の視覚パターンに反応していると説明しています。彼の説明では、このニューロンは一つのスロットに二つの任意の概念を隠しているのではなく、関連する視覚構造をまとめています。また、視覚モデルであるInceptionV1にアーキテクチャ上の変更を加えた後、モデルサイズと訓練データを固定したまま、最終層の99〜100%のニューロンが解釈しやすくなったと報告しています。これは再訓練された視覚モデルの層に関する主張です。現代のチャットモデルについての統計ではありません。
言語モデルに関する証拠は、LLMにとってより関連性が高い一方で、より予備的なものです。Goodfireのチームは、Qwen3-32Bの初期監査において、ニューロンの極（pole）の約90%に一つの主な役割があり、多くの場合、小さな関連する派生的役割を伴うと推定しています。さらに約7%には関連する二つの役割があり、約2〜4%は説明されないままです。
「極」とは、ニューロンの正または負の反応の片側を指します。この割合は、LLMの挙動の90%が説明されたという意味ではありません。Cammarataは、この分類が弱い活性化に対するしきい値、モデルの深さ、回路の密度、そして何を一つの役割とみなすかによって変わると述べています。これらの但し書きは推定値の横に記載されています。
チームが提示しているのは、活性化に対するラベルだけではありません。インタラクティブなエッセイには、Qwen3-32BとQwen3.6-35B-A3Bから無作為に選ばれた1,000件のニューロン事例研究が含まれています。あるテストでは、エージェントが文章による説明を使って、ニューロンを活性化するはずの例と、活性化しないはずの近い反例を作成しました。正の側について説明がある183個のニューロンでは、新しい例が76%の割合で強く活性化したのに対し、近い反例では11%でした。これは、チームの設定内では有用な予測テストです。ただし、説明が重要な活性化や下流の影響をすべて捉えていることを証明するものではありません。
介入によって研究者はLLMの答えを変えられるのでしょうか？
選ばれた例では、変えられます。GoodfireはQwen3-32Bのニューロン群を追跡し、それらを取り除いて何が変わるかを調べています。手がかりがサンタクロースを示すプロンプトでは、答えに関連すると選ばれた8個のニューロンを取り除くと、モデルが報告した「Santa」の確率は0.059まで低下しました。一方、対応する層から同じ数のランダムなニューロンを取り除いた場合は、0.997のままでした。これは、選ばれたニューロンがそのプロンプトと次の単語の予測において重要だったことを示す証拠です。任意のプロンプトやモデル全体にわたる測定済みの成功率ではありません。介入と対照実験は元のエッセイに示されています。
Cammarataは、数兆個を超えるパラメータを持つモデルであるKimi K3について、ニューロンベースの帰属グラフも示しています。財布の例では、失われた物を返すことに関する答えへ向かう、プロンプトからのいくつかの経路をたどっています。エッセイは、表示されたグループを手作業で選んだ一部分と呼び、その規模での完全な監査はまだ始まっていないと述べています。非常に大きなモデルの読みやすい一部分は有望ですが、省略されたすべての経路が何をしていたのかを教えてくれるわけではありません。
他の研究者はどのように反応しているのでしょうか？
10月17日、研究者のLeo GaoはNeural networks are not already cleanを発表しました。彼は、以前の研究がニューロンを多義的だと早急に判断していた可能性には同意しています。
彼の異論は、最も分かりやすい例を整然と説明しても、そのニューロンを活性化するはずの入力、重要な弱い反応、あるいは活性化の強度の重要性を見落とす可能性があるというものです。Gaoは、より厳しいテストを提案しています。ニューロンの値を説明から予測した値に置き換え、その後もモデルの残りの部分が同じように振る舞うかを測定するのです。挙動が悪化するなら、その説明は重要な何かを見落としています。
Neel Nandaの直接的な応答も、関連する区別を示しています。彼は、特定の疑わしい挙動を調査するために、モデル固有のニューロンと帰属グラフを使うことには実用的な価値があると考えています。一方で、これが野心的なリバースエンジニアリングが間近に迫っていることを証明するとは納得しておらず、特にLLMにおける弱い活性化と残差ストリームを指摘しています。Cammarata自身も、この研究ではattentionの理解が進んでおらず、巨大な言語モデルの完全なマッピングには程遠いと述べています。
この意見の相違は有益です。Goodfireは、ネットワーク自身のコンポーネントを解釈の出発点にできるかを問うています。GaoとNandaは、説明を信頼するためには、どの程度まで予測できなければならないのかを問うています。ニューロンは解釈しやすく見え、ある答えに因果的に関与し、それでも私たちが捉えられていない重要な挙動を持つ可能性があります。
他の二つの反応は、立証責任をさらに明確にしています。同じ公開議論で、John Wentworthは、紹介されたConvNeXt視覚モデルについて、各ニューロンの解釈とその根拠となる証拠を、ニューロンごとに説明するよう求めています。彼は、公開された顕微鏡だけでは、それらのニューロンの意味が自分にはすぐ明らかにならなかったと述べています。これは検査可能な成果物を求めるものであり、LLMに関する発見を反証するテストではありません。Alex Gibsonは別の隔たりを指摘しています。エッセイは最大の結論を非常に推測的だと呼んでいる一方で、短いソーシャル投稿の一部はより確信を持っているように聞こえます。これらは初期段階の個別の反応であり、分野全体の判断ではありません。
これはAIシステムが安全または透明になったことを意味するのでしょうか？
これらの結果から安全性の証明書が得られるわけではありません。一つのニューロンの説明は局所的な主張です。帰属グラフは、一つの計算についての部分的な説明です。システムレベルの保証を主張するには、重要な回路を網羅し、見落とした挙動に対する信頼できるテストを行い、検査対象として選ばれた例を超えて手法が機能する証拠が必要です。ツールを使うシステムでは、内部回路がどれほど読みやすくなっても、AIエージェントの権限→によってモデルが実行できることを制限する必要があります。
Goodfireの言語モデルに関する技術論文と、独立した再現実験がここで重要になります。
アクセス上の境界もあります。これらの実験では、内部活性化を調べ、コンポーネントに介入しています。製品がホスト型チャットAPIを呼び出すだけなら、通常のプロンプトを通じてそのモデルに同じテストを実行することはできません。
簡単な説明
質問がAIモデルに入り、答えが出てきます。難しいのは、その内部で何が起きたのかを知ることです。
起きたこと： Goodfireは、ニューロンと呼ばれる言語モデルの小さな部分を調べました。選ばれたテストでは、研究者は一部のニューロンが何をしているのかを説明し、それらを取り除くことで答えを変えられました。
重要な理由： モデルの内部の仕組みは、多くの研究者が予想していたよりも調査しやすい可能性があります。
意味しないこと： まだすべての答えを説明することも、モデルを安全だと呼ぶこともできません。通常のAI APIを使って構築している場合は、出力をテストし続け、AIができることを制限してください。今後の研究によって、モデルのデバッグや監視のためのより良いツールが生まれる可能性があります。
これは現在のAI製品にとって何を意味するのでしょうか？
私が構築しているエージェントやコンテンツのワークフローにとって、この結果は新たにオンにできるスイッチを与えるものではありません。直ちに行うべきことは、ユーザーが実際に実行するタスクをテストし、情報源と事実に関する主張を確認し、モデルとツールの挙動を記録し、ツールの権限を制限し、重大な外部アクションの前に人間の承認を必須にすることです。これらの制御は、モデルのニューロンが解釈しやすいかどうかにかかわらず、観測可能な失敗に対処します。
ホスト型モデルの外部挙動を評価することはできます。私の以前のLLMの信頼度キャリブレーション→ガイドでは、そのようなタスクの一つを扱っています。つまり、スコアが自分の業務における正しさと連動しているかを確認することです。これはメカニスティック・インタープリタビリティとは異なる問いを測定するものであり、どちらにも明確な限界が必要です。
内部モニターを導入する前に、私は次の点を確認します。保留しておいたデータでどのような挙動を検出するのか、有害なケースを見逃したり無害なケースを中断したりする頻度、ツール呼び出しの前に動作するか、そしてプロバイダーが必要な活性化を実際に公開しているかです。通常のAPI出力だけでは、これらの問いには答えられません。
長期的には何が変わる可能性があるのでしょうか？
他のチームがニューロンに関する発見を再現し、ニューロン間の重要な経路を追跡できるなら、モデル開発者は出力だけを調べるのではなく、メカニズムのレベルで失敗を診断できるようになる可能性があります。Cammarataはまた、自動化された研究エージェントや、有害であることが証明された訓練環境を慎重に変更することを、将来可能になるかもしれない段階として描いています。これらは検証すべき提案であり、このエッセイによって確立された能力ではありません。
関連する方向性には、すでに具体例があります。Kimi K3に関するGoodfireの別の研究では、activation probeが第二のモデルに入力され、リスクのあるエージェントのやり取りを中断するかどうかを判断します。Goodfireは、自社の評価において有望な結果を報告しています。このモニターには内部活性化へのアクセスが必要であり、この研究はCammarataによるニューロンの説明を検証するものではありません。これは、モデルレベルのシグナルが、将来的にプロバイダーやオープンウェイトのデプロイメントに何を提供できる可能性があるかを示しています。APIの顧客には、公開されたサービスと、独自のタスク固有の評価が必要になります。
内部の可視性が高まれば、安全性レビューに役立つだけでなく、モデル開発も速くなる可能性があります。そのバランスはまだ不明です。将来有用な標準となるには、プロバイダーが、内部の説明によってどの挙動をカバーできるのか、どこで失敗するのか、そして現実的なワークフローにおいてモニターが出力のみのチェックを上回るのかを示す必要があります。
次に何を注視すべきでしょうか？
私は、予定されている技術論文と追跡研究で、次の五つの証拠を探します。
私の見方では、Goodfireはモデル固有のニューロンをより詳しく調べるべきだという、説得力のある主張を示しました。同時に、研究者たちが議論するための、より良い実験も提示しました。2026年10月17日時点で、最も強い結論は「LLMのブラックボックスが解決された」というものよりも限定的です。いくつかの部分は予想以上に読み解きやすい可能性がありますが、読み解きやすい部分からモデル全体について信頼できる説明へ至る道は、まだ開かれたままです。ホスト型APIを基盤に構築するチームにとっては、挙動テストと権限の境界が、依然として実務上の出発点です。
主な情報源： Cammarataの研究エッセイ、Gaoの応答、研究者による直接の議論、およびGoodfireによる別のactivation monitor研究。