'슬레이 더 스파이어' 아센션 20, LLM 20종 최종 보스 격파 단 1회

LLM 20종이 '슬레이 더 스파이어'의 최고 난도인 아센션 20을 플레이한 연구 결과를 담은 프리프린트 논문이 arXiv에 공개됐다. 이 연구는 LLM이 게임을 직접 플레이할 수 있도록 기존 게임 제어 모드를 확장해 만든 자체 환경 SpireBench를 사용했다. 실험에는 LLM 20종이 각각 동일한 시드 10개로 10회씩, 모두 아이언클래드 캐릭터로 참여했다. 이 소식은 automaton-media.com이 보도했다.

주요 실험에서 게임 내 이름은 모델이 '슬레이 더 스파이어' 전략 정보를 학습했을 가능성을 배제하기 위해 다른 이름으로 교체됐다. GPT-6 Astra, Claude Fable 5.1, Claude Opus 5는 각각 90%의 런에서 1막을 클리어했다. 2막 클리어율은 GPT-6 Astra와 Claude Fable 5.1이 50%, Claude Opus 5가 40%였다. 3막 클리어율은 Claude Fable 5.1이 20%, GPT-6 Astra와 GPT-5.6 Sol이 각각 10%였다. 최종 보스는 GPT-5.6 Sol이 10%의 런에서 격파했고, 다른 모든 모델의 최종 보스 격파율은 0%였다. LLM 20종이 각 10회씩 플레이한 전체 런에서 최종 보스가 격파된 것은 단 1회뿐이었다.

연구는 LLM 결과를 Mega Crit이 공개한 약 20만 6,000건의 아이언클래드 플레이 기록 및 베테랑 '슬레이 더 스파이어' 스트리머 4명의 플레이 이력과 비교했다. 약 20만 6,000건의 Mega Crit 기록에서는 1막 클리어율 47%, 2막 15%, 3막 7%, 최종 보스 격파 4%였다. 플레이타임 1,000시간 이상 플레이어의 8,287건 기록에서는 1막 54%, 2막 20%, 3막 11%, 최종 보스 격파 7%였다. 최종 보스를 한 번 이상 격파한 플레이어의 3,641회 런에서는 1막 58%, 2막 29%, 3막 21%, 최종 보스 격파 16%였다. 트위치 베테랑 스트리머 4명은 1막 약 90%, 2막 약 70%, 3막 56~71%, 최종 보스 격파 46~65%를 기록했다.

논문은 상위 LLM이 단기 전투를 잘 처리해 에너지를 효율적으로 사용하고 더 적은 턴에 전투를 끝낸다고 분석했다. 반면 장기 전략에서는 베테랑 스트리머보다 훨씬 취약했으며, 경로 선택과 이벤트 선택 등이 포함됐다. LLM은 HP 보호를 우선시하고 미래 성장으로 이어질 수 있는 위험한 선택을 피하는 경향을 보였다. 1막 보스에 도달한 런에서 평균 엘리트들 전투 횟수는 전체 인간 1.96회, 베테랑 스트리머 2.6회, LLM 1.25회였다. 휴식 장소에서 휴식을 선택한 비율은 전체 인간 23%, 베테랑 스트리머 9%, LLM 68%였다. 1막 보스 도달 시 최대 HP 대비 남은 HP 비율은 전체 인간 62%, 베테랑 스트리머 56%, LLM 82%였다. 1막 보스에서 인간 플레이어는 평균 16.8장의 덱으로 카드 보상을 23% 확률로 건너뛴 반면, LLM은 평균 19.3장의 덱으로 8%만 건너뛰었다.

논문은 LLM이 반복 플레이로 실력이 향상되지 않았으며, 어떤 행동이 승패로 이어졌는지 제대로 검증하지 못한 교훈을 저장하기도 했다고 지적했다. 연구의 한계로는 동료 심사 미확인, LLM당 10회의 제한된 시행, 인간과 LLM이 동일한 무작위 시드를 플레이하지 않은 점, 아이언클래드만 비교한 점 등이 포함됐다. 공동 저자로는 Radboud University 기계학습 및 신경컴퓨팅 그룹 AI 부서 조교수 Sander W. Keemink와 AI 연구 비영리단체 Vector Institute 연구원 Scott C. Lowe가 참여했다.