Des développeurs rendent des modèles Qwen hostiles en modifiant quelques neurones
Deux développeurs ont manipulé des neurones précis dans les modèles Qwen d'Alibaba ; l'un d'eux a publié Neuron Explorer, un outil open source d'exploration neuronale.
Des développeurs ont montré publiquement qu'en modifiant le signal de quelques neurones dans les modèles Qwen d'Alibaba, il est possible de rendre ces modèles hostiles, et l'un d'eux a mis en ligne un outil open source d'exploration neuronale. Selon VentureBeat, qui rapporte ces travaux, un développeur connu sous le nom de Lyra a constaté qu'en renforçant le signal d'un neurone de la couche 14 et en affaiblissant celui d'un neurone de la couche 13 dans Qwen3.5-4B, le modèle produisait un langage agressif et menaçant, baptisé « Evil Qwen ».
Le 24 octobre 2026, Lyra a publié cette expérience sur X. Le 28 octobre 2026, le développeur connu sous le nom de chiefofautism a rapporté un effet similaire sur Qwen3.8-27B, un modèle à 27 milliards de paramètres : après avoir examiné environ 2 500 neurones candidats et manipulé ceux qui pesaient le plus sur les réponses, 7 des 12 questions de test ont produit des réponses hostiles.
Une expérience de contrôle portant sur des neurones choisis au hasard n'a pas donné de résultats comparables. VentureBeat précise toutefois n'avoir pas pu reproduire ces expériences de manière indépendante et estime qu'un petit nombre de questions ne suffit pas à conclure à un changement durable du comportement du modèle.
Un outil pour visualiser les neurones
Lyra a par ailleurs publié Neuron Explorer, un outil open source qui affiche en 3D les couches et les neurones d'un modèle, compare les réponses avant et après ajustement et se connecte à Claude d'Anthropic via MCP afin de mener les expériences par instructions en langage naturel.
Ces travaux s'inscrivent dans un débat plus large sur l'interprétabilité. Le 15 octobre 2026, Nick Cammarata, de Goodfire, a publié un texte intitulé « Neural Networks Are Already Clean », où il avance que le rôle et les connexions des neurones internes peuvent être interprétés plus facilement que prévu. Plus tôt cette année, Anthropic a publié des recherches sur un signal interne appelé « Assistant Axis », qui aide l'IA à conserver un rôle d'assistant et limite les dérives dans certaines directions afin de réduire les réponses nuisibles. Johnny Lin, fondateur de Neuronpedia, a déclaré à VentureBeat que comprendre le fonctionnement interne des modèles d'IA est l'un des problèmes les plus importants à résoudre.
En bref
Qu'est-ce que Neuron Explorer ?
Un outil open source publié par Lyra qui affiche en 3D les couches et les neurones d'un modèle, compare les réponses avant et après ajustement et se connecte à Claude d'Anthropic via MCP.
Quels modèles ont été utilisés dans ces expériences ?
Qwen3.5-4B pour l'expérience de Lyra et Qwen3.8-27B, un modèle à 27 milliards de paramètres, pour celle de chiefofautism.
Ces résultats ont-ils été reproduits de façon indépendante ?
VentureBeat indique ne pas avoir pu reproduire les expériences et estime qu'un petit nombre de questions ne permet pas de conclure à un changement durable du comportement du modèle.