Des IA jouent à Slay the Spire en Ascension 20 : un seul boss final vaincu

Une étude prépubliée sur arXiv a fait jouer 20 grands modèles de langage à Slay the Spire au niveau de difficulté maximal, l'Ascension 20, rapporte automaton-media.com. Chaque modèle a effectué 10 parties avec les mêmes 10 graines, tous avec le personnage Ironclad.

Les résultats montrent un contraste net entre les combats et la stratégie à long terme. GPT-6 Astra, Claude Fable 5.1 et Claude Opus 5 ont chacun franchi l'acte 1 dans 90 % des parties. Les taux de réussite chutent ensuite : 50 % à l'acte 2 pour GPT-6 Astra et Claude Fable 5.1, 40 % pour Claude Opus 5 ; à l'acte 3, 20 % pour Claude Fable 5.1 et 10 % pour GPT-6 Astra et GPT-5.6 Sol. Sur l'ensemble des 20 modèles et de leurs 10 parties, le boss final n'a été vaincu qu'une seule fois, par GPT-5.6 Sol, dans 10 % de ses parties.

L'expérience s'appuyait sur SpireBench, un environnement construit en étendant un mod de contrôle du jeu pour permettre aux modèles d'y jouer directement. Dans l'expérience principale, les noms affichés en jeu ont été remplacés afin de tenir compte d'une éventuelle connaissance préalable des stratégies du jeu.

Le papier compare ces résultats à environ 206 000 parties d'Ironclad publiées par Mega Crit et aux historiques de quatre streamers vétérans. Dans l'ensemble des archives de Mega Crit, le taux de franchissement de l'acte 1 est de 47 %, celui de l'acte 2 de 15 %, celui de l'acte 3 de 7 %, et la défaite du boss final de 4 %. Chez les joueurs ayant plus de 1 000 heures de jeu (8 287 parties), ces taux sont de 54 %, 20 %, 11 % et 7 %. Pour les quatre streamers vétérans de Twitch, ils sont d'environ 90 % à l'acte 1, 70 % à l'acte 2, 56 à 71 % à l'acte 3 et 46 à 65 % pour le boss final.

Selon le papier, les meilleurs modèles gèrent bien le combat à court terme, utilisant l'énergie efficacement et terminant les affrontements en moins de tours, mais sont bien plus faibles que les streamers vétérans sur la stratégie à long terme, notamment le choix d'itinéraire et les événements. Ils tendent à privilégier la protection des points de vie et évitent les choix risqués pouvant favoriser leur progression future. Parmi les parties atteignant le boss de l'acte 1, la moyenne de combats d'élite était de 1,96 pour l'ensemble des humains, 2,6 pour les streamers vétérans et 1,25 pour les modèles. Aux sites de repos, le repos était choisi dans 23 % des cas par l'ensemble des humains, 9 % par les vétérans et 68 % par les modèles.

Le papier indique que les modèles ne progressaient pas au fil des parties répétées et stockaient parfois des leçons sans vérifier correctement quelles actions menaient aux victoires ou aux défaites. Ses limites incluent l'absence de confirmation d'une évaluation par les pairs, seulement 10 essais par modèle, des graines aléatoires différentes entre humains et modèles, et une comparaison portant uniquement sur Ironclad. Sander W. Keemink, professeur assistant au département d'IA du groupe machine learning and neural computing de l'université Radboud, et Scott C. Lowe, chercheur au sein de l'organisation à but non lucratif de recherche en IA Vector Institute, figurent parmi les co-auteurs.