LLM20種が『Slay the Spire』アセンション20に挑戦、第3幕クリア率は最大20%

arXivに公開されたプレプリント論文で、20種の大規模言語モデル（LLM）が『Slay the Spire』の最高難度であるアセンション20をプレイした研究が発表された。automaton-media.comが報じている。研究では、各LLMが同じ10個のシードで10回ずつ、キャラクターのアイアンクラッドを使用する設定で実験が行われた。

実験には、ゲーム制御MODを拡張して構築された専用環境「SpireBench」が使用された。主要な実験では、モデルが『Slay the Spire』の戦略情報を学習している可能性を考慮し、ゲーム内の名前が別の名前に置き換えられた。

結果として、GPT-6 Astra、Claude Fable 5.1、Claude Opus 5はいずれも第1幕クリア率が90%に達した。第2幕ではGPT-6 AstraとClaude Fable 5.1が50%、Claude Opus 5が40%だった。

しかし、第3幕ではClaude Fable 5.1が20%、GPT-6 AstraとGPT-5.6 Solがそれぞれ10%にとどまった。最終ボスを倒したのはGPT-5.6 Solの10%のみで、他のモデルはすべて0%だった。20種のLLMがそれぞれ10回プレイした全試行のうち、最終ボスを倒せたのは1回だけだった。

研究では、LLMの結果がMega Critによって公開された約206,000件のアイアンクラッドのプレイ記録や、4人のベテラン『Slay the Spire』配信者のプレイ履歴と比較された。Mega Critの約206,000件の記録では、第1幕クリア率47%、第2幕15%、第3幕7%、最終ボス撃破4%だった。

論文は、トップクラスのLLMが短期的な戦闘をうまく処理し、エネルギーを効率的に使用して少ないターンで戦闘を終わらせる一方、経路選択やイベントの選択など長期的な戦略においてベテラン配信者よりもはるかに劣っていたと指摘している。LLMはHPの保護を優先し、将来の成長につながるリスクのある選択を避ける傾向があった。