Nick Cammarata publie un essai sur l'organisation des réseaux de neurones
L'ancien chercheur d'OpenAI, désormais chez Goodfire, estime que 90 % des neurones analysés dans Qwen3-32B remplissent une fonction dominante unique.
Nick Cammarata, ancien chercheur d'OpenAI aujourd'hui chez Goodfire, a publié le 15 octobre un essai intitulé « Neural Networks Are Already Clean », selon aitimes.com. Il y soutient que les réseaux de neurones sont déjà organisés et que les rapports antérieurs faisant état de concepts mélangés et sans rapport au sein d'un même neurone résultaient d'une mauvaise interprétation des données.
L'auteur réexamine l'exemple du neurone dit « visage de chat / avant de voiture », auparavant décrit comme associant deux concepts sans lien. Selon lui, ce neurone détecte en réalité une forme pointue en V commune aux deux images, et non un mélange de concepts hétérogènes.
Cammarata avance par ailleurs qu'environ 90 % des neurones analysés dans le modèle de langage Qwen3-32B remplissent une fonction dominante unique, sur la base d'une analyse préliminaire des valeurs positives et négatives. Il présente toutefois l'essai comme une hypothèse de travail et annonce la publication séparée d'un article technique détaillant les expériences menées sur le modèle.
Ces expériences ont consisté à faire décrire un neurone par un agent d'IA, puis à demander à un second agent de générer des phrases à partir de cette seule description. Certaines de ces phrases ont déclenché des activations plus fortes que les exemples issus de grands jeux de données.
Un accueil partagé
Sur X, roon (@tszzl) a qualifié l'essai de possible moment majeur de l'histoire scientifique, susceptible de faire de l'alignement une science normale. Sur LessWrong, Neel Nanda a jugé le travail intéressant sans constituer une avancée globale pour l'interprétabilité, notant que les diagrammes de circuits peuvent omettre des informations et que les neurones faiblement actifs restent insuffisamment expliqués.
En arrière-plan, Cammarata a cosigné les premiers travaux d'interprétabilité « Zoom In » (2020) et « Multimodal Neurons » (2021) avec Chris Olah et d'autres chercheurs, et a entamé chez OpenAI en 2023 des recherches sur l'interprétabilité automatisée.
En bref
Qui a publié l'essai « Neural Networks Are Already Clean » ?
Nick Cammarata, ancien chercheur d'OpenAI aujourd'hui chez Goodfire, l'a publié le 15 octobre.
Quel modèle de langage a été utilisé dans les expériences ?
Les expériences ont porté sur Qwen3-32B, selon l'essai.
Un article technique est-il prévu ?
Oui, Cammarata indique qu'un article technique détaillant les expériences sur le modèle de langage sera publié séparément.