20个大模型挑战《杀戮尖塔》最高难度:200局仅1次通关终局
arXiv预印本论文让20个大语言模型在《杀戮尖塔》Ascension 20难度下各完成10局,结果显示顶尖模型首幕通关率达90%,但长期策略远逊于资深玩家。
据automaton-media.com报道,一篇发布在arXiv上的预印本论文描述了一项实验:20个大语言模型在《杀戮尖塔》的最高难度Ascension 20下进行游戏。所有对局均使用角色Ironclad,每个模型进行10局,并使用相同的10个随机种子。研究使用了一个名为SpireBench的自定义环境,该环境通过扩展现有的游戏控制模组构建,使大语言模型能够直接游玩《杀戮尖塔》。在主实验中,游戏内名称被替换为不同名称,以排除模型可能已学习过《杀戮尖塔》策略信息的因素。
结果显示,GPT-6 Astra、Claude Fable 5.1和Claude Opus 5各自在90%的对局中通过了第一幕。第二幕通关率方面,GPT-6 Astra和Claude Fable 5.1为50%,Claude Opus 5为40%。第三幕通关率方面,Claude Fable 5.1为20%,GPT-6 Astra和GPT-5.6 Sol各为10%。最终Boss战中,只有GPT-5.6 Sol在10%的对局中击败了最终Boss,其余模型击败最终Boss的比例均为0%。在全部20个大语言模型的200局游戏中,最终Boss仅被击败1次。
研究将大语言模型的表现与Mega Crit公布的约206,000条Ironclad游玩记录以及四位资深《杀戮尖塔》主播的对局历史进行了比较。在Mega Crit的约206,000条记录中,第一幕通关率为47%,第二幕为15%,第三幕为7%,最终Boss击败率为4%。在游玩时间超过1,000小时的玩家的8,287条记录中,第一幕为54%,第二幕为20%,第三幕为11%,最终Boss击败率为7%。在至少击败过一次最终Boss的玩家的3,641局中,第一幕为58%,第二幕为29%,第三幕为21%,最终Boss击败率为16%。四位资深主播的第一幕通关率约为90%,第二幕约为70%,第三幕为56%至71%,最终Boss击败率为46%至65%。
论文指出,顶尖大语言模型在短期战斗处理上表现良好,能够高效使用能量并在更少的回合内结束战斗,但在长期策略方面远逊于资深主播,包括路线选择和事件决策。大语言模型倾向于优先保护生命值,避免可能带来未来成长的风险选择。在到达第一幕Boss的对局中,所有人类玩家的平均精英战次数为1.96次,资深主播为2.6次,大语言模型为1.25次。在休息点选择休息的比例,所有人类玩家为23%,资深主播为9%,大语言模型为68%。到达第一幕Boss时,剩余生命值占最大生命值的比例,所有人类玩家为62%,资深主播为56%,大语言模型为82%。在第一幕Boss处,人类玩家有23%的概率跳过卡牌奖励,平均牌组为16.8张;大语言模型仅有8%的概率跳过,平均牌组为19.3张。论文还提到,大语言模型并未因重复游玩而提升,有时会存储未能正确验证哪些行动导致胜利或失败的教训。
该研究的局限性包括:论文尚未确认经过同行评审,每个大语言模型仅进行10次试验,人类与大语言模型并未使用相同的随机种子,且比较仅涉及Ironclad一个角色。背景方面,《杀戮尖塔》于2017年在Steam开启抢先体验,2019年正式发售,并登陆主机和智能手机平台;续作《杀戮尖塔2》于2026年3月在Steam开启抢先体验。
快速问答
这项研究让大语言模型玩了多少局《杀戮尖塔》?
20个大语言模型各进行10局,共200局,全部使用角色Ironclad,每个模型使用相同的10个随机种子。
大语言模型在Ascension 20的最终Boss击败率是多少?
在200局中最终Boss仅被击败1次。GPT-5.6 Sol在10%的对局中击败了最终Boss,其余模型均为0%。
论文是否经过同行评审?
论文是arXiv上的预印本,研究局限性中明确提到尚未确认经过同行评审。