마이크로소프트, Windows ML에 llama.cpp 실험적 지원 추가
마이크로소프트가 Windows ML에서 GGUF 모델을 실행할 수 있도록 llama.cpp 지원을 실험적으로 추가했다고 밝혔다.
마이크로소프트가 Windows ML에 llama.cpp 기반의 실험적 지원을 추가했다고 개발자 블로그를 통해 2026년 10월 16일 밝혔다. 이로써 Windows ML에서 GGUF 형식의 AI 모델을 실행할 수 있게 됐다.
기존에 Windows ML이 처리한 것은 ONNX 형식의 AI 모델뿐이었다. llama.cpp를 거치는 GGUF 경로는 기존 ONNX 모델 경로와 별개로 운영된다.
마이크로소프트는 Windows ML을 지원하는 AI 도구들이 비교적 적은 코드로 GGUF 모델을 호출할 수 있다고 설명했다. 다만 각 도구가 직접 지원을 추가해야 한다. 블로그에는 ONNX 음성 인식 모델로 오디오를 받아쓰고 그 텍스트를 GGUF 기반 LLM에 넘기는 활용 예시가 소개됐다.
회사 측은 llama.cpp와 그 성능 개선에 직접 기여했다고 밝혔다. LM Studio처럼 llama.cpp를 사용하는 도구가 대표적인 예다.
이번 발표는 NVIDIA RTX Spark 탑재 PC의 등장에 맞춰 이뤄졌다. 마이크로소프트 블로그는 Surface Laptop Ultra 등 NVIDIA RTX Spark를 갖춘 고성능 Windows PC를 언급했다. 소식은 forest.watch.impress.co.jp가 전했다.
한눈에 보기
Windows ML에서 어떤 모델을 실행할 수 있나?
기존 ONNX 모델에 더해 llama.cpp를 통한 GGUF 모델을 실험적으로 실행할 수 있다.
별도 설정 없이 바로 쓸 수 있나?
AI 도구가 Windows ML 지원을 통해 GGUF 모델을 호출할 수 있지만, 각 도구가 직접 지원을 추가해야 한다.