Agents de codage : les harnais complexes ne justifient pas leur coût
Une étude de Shandong University et UC Berkeley mesure jusqu'à trois fois d'écart de coût par tâche selon le harnais, à modèle et tâche identiques.
Des chercheurs de Shandong University et de UC Berkeley ont publié une étude comparant trois harnais d'agents de codage : Claude Code d'Anthropic, l'open source OpenCode et le minimal mini-SWE-agent. Le travail, mis en ligne sur une archive, s'appuie sur 492 tâches hors ligne de SWE-bench Verified, dont 45 tâches difficiles isolées des 447 restantes, selon aitimes.com.
Les modèles testés comprenaient les modèles à poids ouverts Qwen3.6-35B-A3B et Qwen3.8-27B, les modèles accessibles par API DeepSeek-V4-Flash, GLM-5.3-Flash et HY4-Preview, ainsi que Claude Opus 5 exécuté dans Claude Code comme référence. Résultat principal : les harnais riches en fonctionnalités n'obtiennent pas systématiquement de meilleurs scores que les versions légères.
Environ 13 % des résultats sur les tâches difficiles basculent entre réussite et échec, à la fois lorsqu'on change de harnais et lorsqu'on relance le même harnais. OpenCode obtient jusqu'à 9 points de pourcentage de moins que les autres environnements sur les tâches volumineuses ; environ la moitié de cet écart s'explique par l'atteinte de la limite de sortie de 32 000 tokens avant l'écriture d'un patch, tandis que Claude Code dispose d'une fonction de reprise qui demande automatiquement au modèle de poursuivre sa sortie.
Coûts et prompts système
À modèle et tâche identiques, le coût par tâche varie jusqu'à un facteur trois selon le harnais, et cet écart apparaît dès le premier appel API. Le contexte fixe des prompts système et des définitions d'outils dépasse 10 000 tokens pour Claude Code, contre environ 800 tokens pour mini-SWE-agent. Avec les modèles DeepSeek, mini-SWE-agent devient plus coûteux que les autres harnais en raison d'un plus grand nombre d'appels : l'efficacité économique dépend donc du couple modèle et flux de travail.
Les chercheurs recommandent de répéter les tests sur un nombre suffisant de tâches et de simplifier les prompts système et les définitions d'outils plutôt que d'adopter par défaut des harnais complexes.
En bref
Quels harnais d'agents de codage ont été comparés ?
Claude Code d'Anthropic, l'open source OpenCode et le minimal mini-SWE-agent.
Quel benchmark a été utilisé ?
SWE-bench Verified, avec 492 tâches hors ligne évaluées, dont 45 tâches difficiles.
Quelle est la différence de coût entre harnais ?
À modèle et tâche identiques, le coût par tâche varie jusqu'à un facteur trois selon le harnais.