마이크로소프트, 온디바이스 코딩 AI 모델 공개... 서피스 랩톱 울트라도 발표
마이크로소프트가 온디바이스 최적화 코딩 AI 모델 MAI-Code-1.1-Flash와 NVIDIA RTX Spark 기반 서피스 랩톱 울트라를 발표했다. 모델 크기는 53GB로 줄었다.
마이크로소프트가 온디바이스에 최적화한 코딩 AI 모델 MAI-Code-1.1-Flash를 공개했다. 이와 함께 NVIDIA RTX Spark 기반의 차세대 PC인 서피스 랩톱 울트라도 발표했다.
최적화 모델은 양자화와 추측 디코딩을 적용해 가중치를 평균 약 3비트로 압축했다. 그 결과 모델 크기는 53GB로 줄어들어 BF16 클라우드 원본 대비 약 80% 감소했다.
성능과 보안
SWE-bench Verified 테스트에서 로컬 최적화 버전은 70.8%를 기록해 클라우드 원본의 72.6%보다 낮았다. 반면 Terminal-Bench 2.1에서는 로컬 버전이 66.3%로 클라우드 원본의 62.9%를 앞섰다.
마이크로소프트는 로컬 AI 에이전트가 안전하게 실행될 수 있도록 Windows 내에 Microsoft Execution Container(MXC) 로컬 샌드박스를 구축했다. GitHub Copilot은 로컬 모델로 작업을 오프로드해 컴퓨트 비용을 절감할 수 있다.
Copilot의 Code 기능은 사용자가 외부 클라우드 토큰 소비나 앱스토어 제한 없이 데스크톱에서 맞춤형 소프트웨어를 만들 수 있게 한다.
사티아 나델라는 X를 통해 Windows가 새로운 장을 열어 에이전트가 모든 PC에서 사용자를 대신해 안전하게 행동할 수 있게 됐다고 밝혔다.
よくある質問
MAI-Code-1.1-Flash 온디바이스 버전의 모델 크기는 얼마인가?
약 53GB로, BF16 클라우드 원본 대비 약 80% 줄어든 크기다.
온디바이스 버전의 성능은 클라우드 원본과 비교해 어떤가?
SWE-bench Verified에서는 70.8%로 클라우드 원본의 72.6%보다 낮았고, Terminal-Bench 2.1에서는 66.3%로 클라우드 원본의 62.9%를 앞섰다.
Microsoft Execution Container(MXC)는 무엇인가?
Windows 내에 구축된 로컬 샌드박스로, 로컬 AI 에이전트가 안전하게 실행될 수 있도록 돕는다.