miHoYo 참여 연구, 마인크래프트만으론 AI 일반화 한계
다양한 게임 데이터로 학습한 에이전트가 1600시간 기준 마인크래프트 단독 학습 모델보다 평균 약 2.8배 높은 점수를 기록했다.
miHoYo의 Honkai AI R&D 팀과 칭화대학교, 중국과학원대학교, 홍콩대학교, 싱가포르국립대학교, 베이징대학교 연구자들이 참여한 연구팀이 2026년 10월 20일 프리프린트 'Scaling in Games: Continued Pre-Training For Embodied Agents In Diverse Virtual Worlds'를 공개했다. 마인크래프트만으로 학습한 AI 에이전트는 다른 게임으로의 일반화가 잘 되지 않는 반면, 다양한 게임 데이터를 함께 학습하면 보지 못한 3D 게임에서도 성능이 향상된다는 내용이다.
연구팀은 알리바바의 멀티모달 AI Qwen3.5를 기반으로 79개 게임 데이터셋에서 50시간에서 1600시간 분량의 플레이 데이터를 추가 사전학습에 사용했다. 모델 크기, 데이터 양, 마인크래프트 데이터 비중을 달리한 120개의 통제 조건을 5개 설정에 걸쳐 실험했다.
마인크래프트만 학습한 모델은 결합 검증 손실에서 더 이상 개선되지 않거나 오히려 악화됐고, ViZDoom 등 벤치마크에서 5개 조건 중 가장 낮은 점수를 받았다. 반면 다양한 게임으로 학습한 모델은 1600시간 데이터 기준으로 마인크래프트 단독 모델보다 평균 OGA 점수가 약 2.8배 높았다.
학습 데이터에서 적은 비중을 차지한 둠에서도 성능이 개선됐다. 다만 2D 및 2.5D GameWorld 벤치마크에서는 사전학습 기준선을 일관되게 넘어서지 못했다.
실시간 테스트에서는 연구팀의 모델이 마인크래프트 등 여러 게임에서 GPT-5.6 Sol, Claude Opus 5.0, Gemini-3.8-Flash 같은 범용 AI를 앞섰다. 비실시간 조건에서는 범용 AI가 더 높은 점수를 기록했다. 이번 연구는 automaton-media.com이 보도했다.
한눈에 보기
이번 연구는 어디에 발표됐나?
2026년 10월 20일 공개된 프리프린트 'Scaling in Games: Continued Pre-Training For Embodied Agents In Diverse Virtual Worlds'다.
마인크래프트만 학습하면 왜 문제인가?
마인크래프트 단독 학습 모델은 다른 게임으로의 일반화가 잘 되지 않았고, ViZDoom 등 벤치마크에서 5개 조건 중 가장 낮은 점수를 받았다.
실시간 테스트 결과는 어땠나?
연구팀의 모델이 마인크래프트 등 여러 게임에서 GPT-5.6 Sol, Claude Opus 5.0, Gemini-3.8-Flash를 앞섰고, 비실시간 조건에서는 범용 AI가 더 높았다.