人工智能电脑

微软发布端侧优化版编程AI模型MAI-Code-1.1-Flash

该模型经量化与投机解码压缩至约53GB,较BF16云端原版缩小约80%,用于新一代Surface Laptop Ultra等PC。

微软宣布推出其编程AI模型MAI-Code-1.1-Flash的端侧优化版本,并同步发布新一代PC产品,包括基于NVIDIA RTX Spark的Surface Laptop Ultra。据aitimes.com报道,该端侧版本针对本地运行进行了专门优化。

微软表示,优化版采用量化与投机解码技术,将模型权重平均压缩至约3位,模型体积降至53GB,较BF16云端原版缩小约80%。

在基准测试中,本地优化版在SWE-bench Verified上得分为70.8%,云端原版为72.6%;在Terminal-Bench 2.1上,本地版得分为66.3%,高于云端原版的62.9%。

为保障本地AI代理安全运行,微软在Windows中构建了本地沙箱Microsoft Execution Container(MXC)。GitHub Copilot可将任务卸载至本地模型,以降低计算成本。Code in Copilot功能允许用户在桌面端构建自定义软件,无需消耗外部云token,也不受应用商店限制。

微软CEO Satya Nadella在X上表示,Windows由此开启新篇章,让代理能够在任何PC上安全地代表用户执行操作。

背景

微软曾在8月推出MAI-Code-1.1-Flash模型。

快速问答

MAI-Code-1.1-Flash端侧优化版的模型体积是多少?

模型体积降至53GB,较BF16云端原版缩小约80%。

本地版在SWE-bench Verified上的得分如何?

本地优化版得分为70.8%,云端原版为72.6%。

MXC是什么?

MXC是微软在Windows中构建的本地沙箱Microsoft Execution Container,用于让本地AI代理安全运行。

来源