OpenAI元研究者が論文公開、ニューロンは単一機能と主張

AI解釈可能性企業Goodfireに所属するニック・カマラータ氏が10月15日、「Neural Networks Are Already Clean（神経網は既に整理されている）」と題する論考を公開した。元OpenAI研究者である同氏は、個々のニューロンに無関係な概念が混在しているとする従来の見方を、データの誤解釈だと主張した。aitimes.comが報じた。

カマラータ氏は、猫の顔と車の前方を検出するとされてきたニューロンの例を再検討し、このニューロンが無関係な概念の混合ではなく、共通する「とがったV字」の形状を検出していると論じた。

同氏は言語モデルQwen3-32Bで分析したニューロンの約90%が単一の主要な機能を担っていると推定した。これは肯定的・否定的な値の予備的分析に基づくものだという。

実験では、一方のAIエージェントがニューロンの説明文を書き、もう一方のエージェントがその説明だけを使って文章を生成した。生成された文章の一部は、大規模データセットから見つかった例よりも強い活性化を引き起こした。

カマラータ氏はこの論考を作業仮説と位置づけ、言語モデル実験の詳細をまとめた技術論文を別途公開する予定だと述べている。Xではroon（@tszzl）氏が科学史上の重大な瞬間になり得ると評価し、解釈可能性を通常の科学に変えうるとした。一方、解釈可能性研究者のNeel Nanda氏はLessWrongへの投稿で、興味深い研究だが解釈可能性の大局的な前進ではないと指摘し、回路図が情報を省略している可能性や、活性の弱いニューロンが十分に説明されていない点を挙げた。