METR : l'accélération de la R&D d'Anthropic atteint 1,9 fois

METR a publié le 5 novembre un rapport d'évaluation indépendant sur l'accélération de la R&D en IA chez Anthropic. L'organisation de recherche sur la sécurité de l'IA y estime que le rythme d'amélioration des performances des modèles d'Anthropic depuis octobre de l'année dernière est environ 1,9 fois plus rapide qu'auparavant, selon aitimes.com.

L'analyse s'appuie sur les données internes d'Anthropic et sur les résultats d'évaluation de modèles couvrant 11 semaines, du 12 août au 29 octobre, ainsi que sur des entretiens avec une quinzaine de salariés. METR estime qu'en octobre 2026, environ 80 % de l'accélération du développement provenait de l'usage de l'IA dans la R&D, et juge que la croissance plus rapide de la puissance de calcul d'entraînement n'en était pas la cause.

Les chercheurs d'Anthropic utilisent Claude pour le codage, la conception d'expériences et l'analyse des résultats. Une enquête interne fait état d'une productivité environ 12 fois supérieure déclarée par les salariés lorsqu'ils utilisent le dernier modèle interne. Le rapport nomme les modèles internes « Misos Preview » et « Misos 5 » ; les gains de productivité auto-évalués sont d'environ 4 fois pour Misos Preview, 5 fois pour Misos 5 et 12 fois pour le modèle non publié « Model 4 ».

Trois modèles non publiés confirmés

Anthropic a achevé l'entraînement de nouveaux modèles en juillet, en août-septembre et en septembre-octobre de cette année, sans les rendre publics. Ils portent les noms provisoires « Model 2 », « Model 3 » et « Model 4 ». On ignore à quelle gamme de produits Claude ces trois modèles appartiennent et s'ils seront un jour commercialisés.

METR indique que la prise en compte des évaluations des derniers modèles non publiés explique en grande partie pourquoi son résultat de 1,9 fois dépasse le 1,7 fois qu'Anthropic avait communiqué auparavant. Le rapport relève aussi des signes précoces d'une contribution autonome de l'IA au développement des modèles, l'essentiel du travail restant toutefois dirigé et supervisé par des humains, et ne décèle aucune contrainte claire de calcul, de données ou d'algorithme susceptible de ralentir sensiblement cette accélération dans les 12 prochains mois. METR estime qu'Anthropic pourrait avoir atteint dès juillet son propre seuil d'alerte en matière d'accélération de la R&D, un avis que l'entreprise ne partageait pas. Une grande partie des éléments clés du rapport a été retenue à la demande d'Anthropic, ce qui rend difficile toute vérification indépendante.