ScholarEvolve : des agents IA qui lisent des articles et modifient leur propre code

Des chercheurs de l'University of California, Santa Barbara et de Microsoft ont mis en ligne ScholarEvolve, un cadre qui permet à un agent d'intelligence artificielle de lire des articles scientifiques et de modifier son propre code pour améliorer ses performances, selon aitimes.com. Le cadre a été diffusé via une archive en ligne.

Le fonctionnement décrit par les chercheurs s'articule en trois étapes : ScholarEvolve recherche des articles académiques sur arXiv, un agent de recherche les lit et vérifie le code officiel associé, puis un agent de codage implémente les changements. Le cadre divise l'agent en cinq modules : interface d'outils, gestion du contexte, compétences, mémoire et flux de travail.

Les modifications candidates sont évaluées sur des données de validation. La configuration existante n'est remplacée que si l'amélioration est confirmée à l'échelle du système entier.

Sur le test normal d'AppWorld, le taux de réussite de Qwen3.5-27B est passé de 69.0 % à 81.4 %. Les chercheurs indiquent que cet écart de performance avec GPT-5.4 a été réduit d'environ 74 %. Sur tau-Bench Telecom, GPT-5.4 mini est passé de 72.7 % à 81.9 %.

Sur le test AppWorld Challenge, avec des API Amazon et Gmail non vues auparavant, l'agent basé sur Qwen3.5-27B est passé de 49.6 % à 63.6 %, soit 9 points de pourcentage de plus que Meta-Harness. Dans les cas d'erreurs d'exécution Python, l'agent amélioré a accompli 59.9 % des tâches, contre 44.9 % pour la configuration d'origine. Trois cycles d'évolution ont été menés sans modifier les poids du modèle Qwen ni les données de tâches existantes, avec une progression à chaque fois sur AppWorld.