Qwenのニューロン操作で攻撃的応答、開発者が3D探索ツール公開
AlibabaのQwen3.5-4BとQwen3.8-27Bで一部ニューロンを操作すると敵対的な応答が生じたと開発者が報告。制御実験では再現せず。
開発者のLyra氏は2026年10月24日、Alibabaの「Qwen3.5-4B」で第14層のあるニューロンのシグナルを強め、第13層の別のニューロンのシグナルを弱めると、モデルが攻撃的で脅迫的な言葉を生成したとXに投稿し、「Evil Qwen」と名付けた。VentureBeatが報じた。
開発者のchiefofautism氏は2026年10月28日、270億パラメーターの「Qwen3.8-27B」でも同様の現象を報告した。約2,500個の候補ニューロンを調べ、応答への影響が大きいものを操作したところ、12問のテストのうち7問で敵対的な応答が得られたという。無作為に選んだニューロンを使ったコントロール実験では同様の結果は出なかった。
Lyra氏はオープンソースツール「Neuron Explorer」も公開した。モデルの層とニューロンを3Dで表示し、ニューロン調整の前後で応答を比較できる。MCPを通じてAnthropicの「Claude」に接続し、自然言語の指示で実験を実行できる。
解釈可能性をめぐる議論
こうした動きに先立ち、GoodfireのNick Cammarata氏は2026年10月15日、「Neural Networks Are Already Clean」と題する投稿を公開し、内部ニューロンの役割と接続は従来の予想より容易に解釈できると提案した。Anthropicは今年、AIがアシスタントの役割を保つための内部シグナル「Assistant Axis」に関する研究を発表している。
Neuronpediaの創業者Johnny Lin氏はVentureBeatの取材に対し、AIモデルの内部動作を理解することは解決すべき最も重要な課題の一つだと述べた。一方、VentureBeatは実験を独自に再現できなかったとし、少数の質問だけではモデルの挙動が持続的に変わると結論づけるには不十分だとしている。
よくある質問
Neuron Explorerとは何ですか？
Lyra氏が公開したオープンソースツールで、モデルの層とニューロンを3D表示し、ニューロン調整前後の応答を比較できる。MCP経由でClaudeに接続し、自然言語の指示で実験を実行できる。
Qwenのニューロン操作実験は再現されていますか？
VentureBeatは実験を独自に再現できなかったとし、少数の質問ではモデルの挙動が持続的に変わると結論づけるには不十分だとしている。