GPT-6 Astra, 미공개 이론물리 문제 50개 중 49개 해결

국제이론과학센터(ICTS)와 타타 기초연구소, 펜실베이니아대, 구글 딥마인드 등이 참여한 35명 규모의 연구진이 2026년 10월 9일 이론물리 연구 문제를 푸는 AI 에이전트의 능력을 측정하는 벤치마크 TheoPhysEval을 공개했다. 이 벤치마크는 에이전트가 웹 검색과 코드 실행 도구를 사용할 수 있는 조건에서 미공개 이론물리 문제를 얼마나 자율적으로 해결하는지 평가한다.

공개된 50개의 미공개 이론물리 문제에서 GPT-6 Astra는 인간의 힌트 없이 49개를 풀었다. 총 API 비용은 116.28달러로 문제당 평균 약 2.33달러가 들었다. 같은 조건에서 Opus 5.5는 46개, Gemini 3.8 Flash는 34개, DeepSeek-V4.1 Flash는 27개, GLM-5.3은 21개를 해결했다.

인터넷 접속을 차단한 조건에서는 GPT-6 Astra와 Opus 5.5가 각각 46개를 풀었다. GPT-6 Astra가 실패한 문제는 주어진 곡선을 생성하는 미분방정식을 찾는 것으로, 다른 모든 모델도 이 문제를 풀지 못했다. 이 결과는 aitimes.com이 보도했다.

채점 과정에서 정답률 98%로 상향

채점 과정에서 GPT-6 Astra의 답 가운데 처음에 오답으로 판정된 것들이 전문가 재검토 끝에 정답으로 확인됐다. 전문가들이 자신의 참조 해법에 있던 미세한 오류를 바로잡으면서 최종 정확도는 98%로 올라갔다.

공동 저자인 ICTS의 Subhraj Raju는 14일 개인 블로그에서 평가가 시작된 경위를 설명하며, 결과를 본 뒤 며칠 동안 잠을 이루지 못했다고 밝혔다. 약 6개월 전 Raju가 AI에 미공개 문제를 냈을 때 AI는 처음에 틀렸지만 여러 힌트를 받은 뒤 해결한 것으로 전해졌다.