마이크로소프트, 2.8조 파라미터 'MAI-베이스-2' 사전학습 완료

마이크로소프트가 2026년 10월 15일 자체 개발 대규모 AI 모델 'MAI-베이스-2'의 사전학습을 완료했다고 발표했다. MAI-베이스-2는 파라미터 2.8조 개 규모로, 토큰당 80억 개가 활성화되는 MoE(전문가 혼합) 구조를 기반으로 한다.

마이크로소프트는 내부 평가에서 MAI-베이스-2가 비교 대상으로 삼은 모든 오픈 웨이트 모델을 앞섰다고 밝혔다. 사전학습에 필요한 부동소수점 연산(FLOPs) 효율은 딥시크의 V4 프로 베이스 대비 4.2~12.3배 높았고, 2026년 6월 공개된 MAI-베이스-1과 비교해서는 6.3~12.7배 개선됐다.

학습은 2026년 8~9월 38일 동안 엔비디아 GB200 GPU 16,000대로 진행됐다. 학습 데이터의 고유 토큰(중복 제거 후)은 MAI-베이스-1보다 약 36% 늘었고, 전체 50조 토큰 구성에서 시각-언어 모델(VLM) 데이터가 18%를 차지했다. 마이크로소프트는 다른 AI 모델의 증류 대신 자체 수집·처리한 데이터를 사용했으며 모든 학습 토큰을 내부에서 처리했다고 설명했다.

회사는 MAI-베이스-2의 모든 층에 MoE를 적용해 MoE 층의 모델 연산 활용률을 24%에서 35%로 끌어올렸다. 뮤온 옵티마이저와 그래디언트 클리핑 기법으로 학습 안정성도 높였다. 모델 가중치 배포는 마이크로소프트의 AI 플랫폼 파운데이션을 통해 이뤄질 예정이다.

MAI-베이스-2는 현재 포스트 트레이닝 단계에 있으며, 마이크로소프트는 후속 모델 MAI-베이스-3 준비도 이미 시작했다고 밝혔다. 회사는 MAI-베이스-2를 차세대 자체 모델의 기반으로 삼아 자사 제품에 먼저 적용한 뒤 기업 고객으로 공급을 확대할 계획이다.

OpenAI와의 비교는 비공개 평가 기반

마이크로소프트 AI를 이끄는 무스타파 술레이먼은 사내 타운홀에서 자사가 오픈AI가 사용한 약 4분의 1의 컴퓨트로 GPT-5.6 Sol의 베이스 모델보다 더 강한 사전학습 모델을 만들었다고 주장한 것으로 비즈니스인사이더가 보도했다. 이 비교는 비공개 평가를 근거로 한 것이며, 공개 기술 보고서에는 이를 확인할 수 있는 상세 결과가 담기지 않았다.