Annoncer
IA

Claude Opus 5.5 domine le classement FrontierCode 2.0 avec 45,5 %

Cognition a publié les résultats de son benchmark FrontierCode 2.0 : Claude Opus 5.5 devance GPT-6 Astra, mais échoue sur la tâche Mock Service Worker.

Cognition a publié les résultats de son nouveau benchmark de codage FrontierCode 2.0. Selon le classement officiel, Claude Opus 5.5 d'Anthropic arrive en tête avec 45,5 %.

GPT-6 Astra d'OpenAI se place deuxième à 42,8 %, suivi de Claude Sonnet 5.5 à 41,0 %, Gemini 4 Carbon de Google à 40,0 % et GPT-6.1 Sol à 39,0 %. Le benchmark s'appuie sur 132 tâches issues de projets open source réels, dont des corrections de vulnérabilités de sécurité et des optimisations de performance.

Les résultats révèlent aussi des faiblesses sur la rigueur : le taux d'échec sur les éléments essentiels de minutie atteint 19,2 %, contre 14,9 % pour l'implémentation des fonctionnalités de base. Même au niveau de raisonnement maximal, ce taux reste à 15,3 %.

Sur la tâche de correction de bug de la bibliothèque Mock Service Worker, Claude Opus 5.5 a échoué à ses 25 tentatives (cinq réglages de raisonnement, cinq essais chacun). GPT-6 Astra a réussi 5 fois sur 5 sur la tâche PostHog à faible niveau de raisonnement, mais seulement 1 fois sur 5 au niveau maximal, car il a supprimé une interface publique et cassé la compatibilité.

Contexte

Cognition avait dévoilé FrontierCode 2.0 sur son blog officiel le 27 du mois dernier, selon aitimes.com. Dans la version précédente, FrontierCode 1.1, Claude Opus 5.5 avait obtenu 54,6 % et GPT-6 Astra 53,3 %.

En bref

Quel modèle arrive en tête du classement FrontierCode 2.0 ?

Claude Opus 5.5 d'Anthropic, avec un score de 45,5 %.

Sur combien de tâches repose FrontierCode 2.0 ?

132 tâches issues de projets open source réels, incluant des corrections de vulnérabilités et des optimisations de performance.

Quel est le taux d'échec sur les éléments de minutie ?

19,2 %, contre 14,9 % pour l'implémentation des fonctionnalités de base.

Source