METR : les modèles d'Anthropic accélèrent la recherche, trois modèles entraînés mais non publiés
Un rapport de METR, issu de 11 semaines d'enquête chez Anthropic, estime que la majorité de l'accélération observée en octobre est due à l'IA.
METR a publié un rapport consacré à son enquête de 11 semaines menée au sein d'Anthropic, selon theverge.com. L'organisation de recherche sur la sécurité de l'IA y évalue les travaux de recherche et développement de l'entreprise et conclut que ses modèles s'améliorent environ deux fois plus vite qu'il y a un an.
D'après les scores obtenus aux tests de référence, METR estime qu'Anthropic a réalisé en un an l'équivalent d'environ deux ans de progrès historiques. Les chercheurs affirment être confiants dans le fait que cette accélération ne s'explique pas simplement par une augmentation de la puissance de calcul.
METR indique que la majorité de l'accélération constatée en octobre est due à l'IA. Les salariés d'Anthropic utilisant le modèle interne le plus performant de l'entreprise déclarent, en auto-évaluation, une productivité environ 12 fois supérieure.
Des modèles entraînés mais non publiés
Le rapport précise qu'Anthropic a achevé l'entraînement de trois modèles non publiés, désignés par les noms de code Model 2, Model 3 et Model 4. METR mentionne également un modèle non publié remontant à 2022, appelé Unreleased 2022.
Anthropic a été autorisée à masquer certaines parties du rapport final de METR.
En arrière-plan, l'enquête de METR est distincte d'un programme offrant aux chercheurs en sécurité un accès aux systèmes comparable à celui des salariés, mis en place après des incidents de piratage très médiatisés au cours de l'été. Anthropic prépare par ailleurs son introduction en Bourse, alors que son directeur général, Dario Amodei, a publiquement appelé les laboratoires à ralentir le développement de l'IA.
En bref
Qu'a trouvé METR lors de son enquête chez Anthropic ?
METR conclut que les modèles d'Anthropic s'améliorent environ deux fois plus vite qu'il y a un an et que la majorité de l'accélération constatée en octobre est due à l'IA.
Combien de modèles non publiés Anthropic a-t-elle entraînés ?
Selon METR, Anthropic a achevé l'entraînement de trois modèles non publiés, Model 2, Model 3 et Model 4, et un modèle non publié remontant à 2022 est également mentionné.