微软为Windows ML加入llama.cpp实验性支持
微软开发者博客宣布,Windows ML 可在原有 ONNX 路径之外,通过 llama.cpp 运行 GGUF 格式的 AI 模型。
微软开发者博客于 2026 年 10 月 16 日宣布,Windows ML 已提供对 llama.cpp 的实验性支持,可运行 GGUF 格式的 AI 模型。据 forest.watch.impress.co.jp 报道,这一功能与 Windows ML 原有的 ONNX 模型路径相互独立。
此前 Windows ML 仅支持 ONNX 格式的 AI 模型,如今用户也能通过 llama.cpp 加载 GGUF 模型。微软表示,支持 Windows ML 的 AI 工具可以用较少的代码调用 GGUF 模型,但相关工具需要自行加入这项支持。
微软博客举例说明:先用 ONNX 语音识别模型转写音频,再把文本传给 GGUF 大语言模型处理。微软还表示,公司直接参与了 llama.cpp 的改进与性能提升工作。
此次公告与 NVIDIA RTX Spark 同步发布。微软博客提到了搭载 NVIDIA RTX Spark 的新款高性能 Windows PC,例如 Surface Laptop Ultra。
快速问答
Windows ML 现在能运行 GGUF 模型吗?
可以。微软宣布 Windows ML 已提供对 llama.cpp 的实验性支持,能够运行 GGUF 模型,同时保留原有的 ONNX 路径。
使用 GGUF 模型需要额外安装什么吗?
微软表示,支持 Windows ML 的 AI 工具需要自行加入对 GGUF 模型的调用支持,之后即可用较少的代码使用。