LLM kara kutusu pratik bir sorundur: Bir model, zor bir soruyu saniyeler içinde yanıtlayabilirken, hangi iç hesaplamaların bu yanıtı ürettiğini açıklayamayız. 15 Ekim 2026'da, OpenAI'nin 2023 nöron çalışmasının ortak yazarlarından Nick Cammarata, Goodfire araştırmacısı olarak Neural Networks Are Already Clean başlıklı çalışmayı yayımladı. Cammarata, bu "kara kutunun" alanın varsaydığından daha kolay incelenebileceğini savunuyor. Bu iddia dikkate alınmayı hak ediyor. Ancak dikkatli okunması da gerekiyor: Deneme bir çalışma hipotezi niteliğinde ve dil modeli nöronları hakkındaki eşlik eden teknik makale henüz yayımlanmadı.
Asıl önemli soru, araştırmacıların bir nöronun ilginç bir tanımından modelin davranışına dair güvenilir bir açıklamaya geçip geçemeyeceği. Cammarata ilk adım için yeni kanıtlar ve ikinci adım için çeşitli nedensel gösterimler sunuyor. Ancak bunların hiçbiri büyük bir language model için eksiksiz bir harita oluşturmuyor.
Sade bir dille yazılmış özet için basit açıklamaya geçin.
LLM kara kutusu neden varlığını sürdürüyor?
Araştırmacılar eğitilmiş bir ağdaki matematiksel işlemleri biliyor. Zor olan, milyonlarca öğrenilmiş bileşenin belirli bir yanıtı üretmek için nasıl birleştiğini açıklamak. Tek bir yapay nöron, birbiriyle ilgisiz görünen örnekler için etkinleşebilir. Hem bir kedinin yüzüne hem de bir arabanın ön kısmına yanıt veriyorsa, gerçekte neyi temsil ediyor?
Etkili açıklamalardan biri superposition kavramıydı: Bir model, sınırlı alana sahip olduğu için birbiriyle ilgisiz özellikleri örtüşen iç yönlerde paketleyebilir. Araştırmacılar daha sonra bu özellikleri ayırmak için genellikle sparse autoencoder olan ikinci bir model eğitir.
Cammarata, bu görüşe dair klasik kanıtların bir kısmının yanlış yorumlandığını savunuyor. Görünürdeki karışım, bunun yerine ortak bir örüntüyü, kusurlu bir mikroskobu veya sonraki katmanların eğitilmesini zorlaştıran bir ağ mimarisini yansıtıyor olabilir. Onun superposition tanımı, birbiriyle ilgisiz hesaplamaların aynı mekanizmaya paketlenmesine özgüdür; diğer araştırmacılar bu kelimeyi, boyut sayısından daha fazla kavramı temsil etmek anlamında daha geniş kullanır. Denemesi bu ayrımı açıklıyor.
Yeni araştırmada ne değişti?
Bilinen kedi ve araba nöronu bir vision model içinden geliyordu; bir LLM'den değil. Cammarata şimdi bu nöronu, ortak bir V biçimli görsel örüntüye yanıt veren bir yapı olarak tanımlıyor. Onun açıklamasına göre nöron, iki rastgele kavramı tek bir yuvada gizlemek yerine ilişkili görsel yapıyı gruplandırıyor. Ayrıca bir vision model olan InceptionV1'de mimari değişikliklerden sonra, model boyutu ve eğitim verileri sabit kalırken son katmandaki nöronların %99–100'ünün kolayca yorumlanabilir hâle geldiğini bildiriyor. Bu, yeniden eğitilmiş bir vision-model katmanına ilişkin bir iddia. Modern sohbet modellerine ait bir istatistik değil.
Language model kanıtları LLM'lerle daha ilgili, ancak daha ön nitelikte. Goodfire ekibi, Qwen3-32B üzerinde yapılan ilk incelemede nöron kutuplarının yaklaşık %90'ının çoğunlukla küçük ve ilişkili yan dallarla birlikte tek bir ana görevi olduğunu tahmin ediyor. Yaklaşık %7'sinin iki ilişkili görevi, yaklaşık %2–4'ünün ise hâlâ açıklanamayan görevleri var.
Bir "kutup", bir nöronun pozitif veya negatif yanıtının bir tarafını ifade eder; bu yüzde, bir LLM'nin davranışının %90'ının açıklandığı anlamına gelmez. Cammarata, sınıflandırmanın zayıf etkinleşmeler için kullanılan eşik, modelin derinliği, devre yoğunluğu ve tek bir görevin ne sayıldığına göre değiştiğini söylüyor. Bu nitelikler tahminin yanında yer alıyor.
Ekip, etkinleşmeler için yalnızca etiketler sunmuyor. Etkileşimli deneme, Qwen3-32B ve Qwen3.6-35B-A3B'den rastgele seçilmiş 1.000 nöron vaka çalışmasını içeriyor. Bir testte bir agent, bir nöronu etkinleştirmesi gereken örnekleri ve etkinleştirmemesi gereken yakın örnekleri yazılı açıklamaları kullanarak oluşturdu. Pozitif tarafları açıklanan 183 nöron arasında yeni örnekler zamanın %76'sında güçlü biçimde etkinleşirken, yakın örneklerde bu oran %11 oldu. Bu, ekibin kurduğu düzenek içinde yararlı bir tahmin testi. Ancak açıklamaların her önemli etkinleşmeyi veya sonraki etkileri kapsadığını kanıtlamıyor.
Araştırmacılar müdahale ederek bir LLM'nin yanıtını değiştirebilir mi?
Evet, seçilmiş örneklerde. Goodfire, Qwen3-32B nöron gruplarını izliyor ve ardından neyin değiştiğini görmek için bunları kaldırıyor. İpuçlarının Santa Claus'a işaret ettiği bir prompt'ta, yanıtla ilişkilendirilen seçilmiş sekiz nöron kaldırıldığında modelin "Santa" için bildirdiği olasılık 0.059'a düştü; eşleşen katmanlardan aynı sayıda rastgele nöron kaldırıldığında ise 0.997 seviyesinde kaldı. Bu, seçilen nöronların söz konusu prompt ve sonraki kelime tahmini için önemli olduğuna dair kanıt. Ancak rastgele prompt'lar veya modeller genelinde ölçülmüş bir başarı oranı değil. Müdahale ve kontrol, orijinal denemede gösteriliyor.
Cammarata ayrıca trilyonlarca parametreye sahip bir model olan Kimi K3 için nöron tabanlı bir attribution graph gösteriyor. Cüzdan örneği, prompt'tan kayıp bir eşyayı iade etmeye ilişkin bir yanıta giden bazı yolları izliyor. Deneme, gösterilen grupları elle seçilmiş bir kesit olarak adlandırıyor ve bu ölçekte tam incelemelerin henüz başlamadığını söylüyor. Çok büyük bir modelin okunabilir bir kesiti umut verici, ancak atlanan her yolun ne yaptığını bize söyleyemez.
Diğer araştırmacılar nasıl tepki veriyor?
17 Ekim'de araştırmacı Leo Gao, Neural networks are not already clean başlıklı yazıyı yayımladı. Önceki çalışmaların nöronları çok hızlı biçimde polysemantic olarak adlandırmış olabileceği konusunda hemfikir.
İtirazı şu: En güçlü örneklerin düzenli bir açıklaması, nöronu etkinleştirmesi gereken girdileri, önemli olan zayıf yanıtları veya etkinleşme gücünün önemini yine de gözden kaçırabilir. Gao daha zorlu bir test öneriyor: Nöronun değerlerini açıklamadan tahmin edilen değerlerle değiştirin ve ardından modelin geri kalanının hâlâ aynı şekilde davranıp davranmadığını ölçün. Davranış bozuluyorsa açıklama önemli bir şeyi gözden kaçırmış demektir.
Neel Nanda'nın doğrudan yanıtı benzer bir ayrım yapıyor. Belirli bir şüpheli davranışı araştırmak için yerel nöronları ve attribution graph'ları kullanmanın pratik değerini görüyor. Bunun iddialı reverse engineering çalışmalarının yaklaştığını kanıtladığına ikna olmuş değil ve özellikle LLM'lerdeki zayıf etkinleşmelere ve residual stream'deki bilgilere dikkat çekiyor. Cammarata da bu çalışmada attention'ın daha az anlaşıldığını ve devasa language model'lerin tamamen haritalandırılmaktan çok uzak olduğunu söylüyor.
Bu anlaşmazlık verimli. Goodfire, ağın kendi bileşenlerinin yorumlama için başlangıç noktası olup olamayacağını soruyor. Gao ve Nanda ise ona güvenebilmemiz için bir açıklamanın ne kadarını tahmin etmesi gerektiğini soruyor. Bir nöron anlaşılır görünebilir, tek bir yanıtta nedensel olarak rol oynayabilir ve yine de yakalayamadığımız önemli davranışlara sahip olabilir.
Diğer iki tepki, kanıt yükünü daha da belirginleştiriyor. Aynı kamuya açık tartışmada John Wentworth, öne çıkarılan ConvNeXt vision modelinin nöron nöron açıklanmasını ve her yorum için kanıt sunulmasını istiyor. Kamuya açık mikroskobun tek başına bu nöronların anlamlarını kendisi için hemen anlaşılır hâle getirmediğini söylüyor. Bu, incelenebilir bir artefakt talebi; LLM bulgularını çürüten bir test değil. Alex Gibson ise farklı bir boşluğa işaret ediyor: Deneme, en büyük sonucunu son derece spekülatif olarak nitelendirirken bazı kısa sosyal medya gönderileri daha kesin bir dil kullanıyor. Bunlar alan genelinde verilmiş bir hüküm değil, erken dönem bireysel tepkiler.
Bu, bir AI sistemini güvenli veya şeffaf hâle getiriyor mu?
Bu sonuçlardan herhangi bir güvenlik sertifikası çıkmaz. Tek bir nöronun açıklaması yerel bir iddiadır. Bir attribution graph, tek bir hesaplamanın kısmi bir açıklamasıdır. Sistem düzeyinde bir güvence iddiası; önemli devrelerin kapsanmasını, gözden kaçan davranışlara karşı güvenilir testleri ve yöntemin inceleme için seçilen örneklerin ötesinde çalıştığına dair kanıtları gerektirir. Tool kullanan bir sistem için AI agent permissions→, iç devreleri ne kadar okunabilir hâle gelirse gelsin, modelin neler yapabileceğini sınırlamaya devam etmelidir.
Goodfire'ın language-model teknik makalesi ve bağımsız tekrar çalışmaları bu noktada önemli olacak.
Ayrıca bir erişim sınırı var. Bu deneyler iç etkinleşmeleri inceliyor ve bileşenlere müdahale ediyor. Ürününüz yalnızca barındırılan bir chat API çağırıyorsa, aynı testleri bu model üzerinde sıradan prompt'lar aracılığıyla çalıştıramazsınız.
Basit açıklama
Bir soru bir AI modeline girer ve bir yanıt çıkar. Zor olan, içeride ne olduğunu bilmektir.
Ne oldu: Goodfire, nöron adı verilen bir language model'in küçük bölümlerini inceledi. Seçilen testlerde araştırmacılar bazı nöronların ne yaptığını açıklayabildi ve onları kaldırarak bir yanıtı değiştirebildi.
Neden önemli: Modelin iç işleyişini araştırmak, birçok araştırmacının beklediğinden daha kolay olabilir.
Ne anlama gelmiyor: Henüz her yanıtı açıklayamıyor veya modeli güvenli ilan edemiyoruz. Sıradan AI API'leriyle çalışıyorsanız çıktıları test etmeye ve AI'ın yapabileceklerini sınırlamaya devam edin. Gelecekteki çalışmalar, modellerde hata ayıklama ve izleme için daha iyi araçlara yol açabilir.
Bu, bugün AI ürünleri için ne anlama geliyor?
Geliştirdiğim agent ve içerik iş akışları açısından bu sonuç bize açabileceğimiz yeni bir anahtar sunmuyor. Acil yapılması gerekenler, kullanıcıların gerçekten çalıştırdığı görevleri test etmek, kaynakları ve olgusal iddiaları kontrol etmek, model ve araç davranışını kaydetmek, araç izinlerini kısıtlamak ve sonuç doğuran harici eylemlerden önce insan onayı istemek. Bu kontroller, modelin nöronları anlaşılır olsun ya da olmasın gözlemlenebilir hataları ele alır.
Barındırılan bir modelin dış davranışını yine de değerlendirebilirsiniz. LLM confidence calibration→ hakkındaki önceki rehberim böyle bir görevi ele alıyor: Bir skorun kendi işinizde doğrulukla örtüşüp örtüşmediğini kontrol etmek. Bu, mechanistic interpretability'den farklı bir soruyu ölçer ve her ikisi de net sınırlamalar gerektirir.
Dahili bir monitor kullanmadan önce, ayrılmamış veriler üzerindeki hangi davranışı tespit ettiğini, zararlı vakaları ne sıklıkla kaçırdığını veya zararsız olanları ne sıklıkla kestiğini, bir tool çağrısından önce harekete geçip geçmediğini ve sağlayıcının gerekli etkinleşmeleri gerçekten sunup sunmadığını sorardım. Sıradan API çıktıları bu soruları yanıtlamaz.
Uzun vadede ne değişebilir?
Diğer ekipler nöron bulgularını tekrarlar ve nöronlar arasındaki önemli yolları izleyebilirse, model geliştiricileri hataları yalnızca çıktıları inceleyerek değil, mekanizma düzeyinde teşhis edebilir. Cammarata ayrıca otomatik araştırma agent'larını ve zararlı olduğu kanıtlanan bir eğitim ortamını dikkatle değiştirmeyi gelecekteki olası adımlar olarak taslak hâlinde sunuyor. Bunlar test edilmesi gereken öneriler; bu denemeyle ortaya konmuş yetenekler değil.
Bununla ilişkili bir yönün şimdiden somut bir örneği var. Kimi K3 üzerine ayrı bir Goodfire çalışmasında, bir activation probe ikinci bir modele veri aktararak riskli bir agent etkileşimini kesip kesmemeye karar veriyor. Goodfire, kendi değerlendirmelerinde umut verici sonuçlar bildirdi. Bu monitor, iç etkinleşmelere erişim gerektiriyor ve çalışma Cammarata'nın nöron açıklamalarını doğrulamıyor. Bunun, model düzeyindeki sinyallerin gelecekte bir sağlayıcıya veya open-weight deployment'a neler sunabileceğini gösteriyor; bir API müşterisinin ise erişime açılmış bir hizmete ve kendi görevine özgü değerlendirmesine ihtiyacı olur.
Daha iyi iç görünürlük, güvenlik incelemelerine yardımcı olabilir ve model geliştirmeyi de hızlandırabilir. Denge bilinmiyor. Yararlı bir gelecek standardı, sağlayıcıların iç açıklamalarının hangi davranışları kapsadığını, nerede başarısız olduğunu ve gerçekçi iş akışlarında bir monitor'ün yalnızca çıktıya dayalı kontrolleri iyileştirip iyileştirmediğini göstermesini isterdi.
Bundan sonra neyi izlemeliyiz?
Gelecek teknik makalede ve takip çalışmalarında beş kanıt parçası arardım:
Benim değerlendirmem, Goodfire'ın bir modelin yerel nöronlarına daha yakından bakmak için güvenilir bir gerekçe sunduğu yönünde. Ayrıca araştırmacıların üzerinde tartışabileceği daha iyi deneyler sağladı. 17 Ekim 2026 itibarıyla en güçlü sonuç, "LLM kara kutusu çözüldü" ifadesinden daha dar: Bazı bölümler beklenenden daha okunabilir olabilir ve okunabilir bölümlerden güvenilir bütün-model açıklamalarına giden yol hâlâ açık. Barındırılan API'ler üzerine ürün geliştiren ekipler için davranış testleri ve izin sınırları pratik başlangıç noktası olmaya devam ediyor.
Birincil kaynaklar: Cammarata'nın araştırma denemesi, Gao'nun yanıtı, doğrudan araştırmacı tartışması ve Goodfire'ın ayrı activation-monitor çalışması.