广告合作
人工智能

月之暗面开源Kimi K3.1 Pro权重,总参数2.8万亿

月之暗面11月4日在Hugging Face发布Kimi K3.1 Pro权重,仓库约1.56 TB,分96个文件分发。

据aitimes.com报道,月之暗面(Moonshot AI)于11月4日(当地时间)在Hugging Face发布了Kimi K3.1 Pro的模型权重,开发者可据此在自有基础设施上运行并修改该模型。分发仓库体积约1.56 TB,权重被拆分为96个文件。

Kimi K3.1 Pro采用混合专家架构,总参数为2.8万亿,推理时激活1040亿参数。模型支持文本与图像输入,上下文长度最高约100万tokens。权重以MXFP4格式分发,激活值使用MXFP8格式,量化感知训练从训练阶段即已引入。

模型共93层,其中69层使用KDA,24层使用带门控的DeepSeek稀疏注意力(DSA)。Kimi K3中执行全注意力的门控MLA层,在K3.1 Pro中被替换为DSA。官方推荐使用vLLM、SGLang和TokenSpeed作为推理引擎,模型配置与输入处理代码随权重一同分发。

许可证与商用条件

月之暗面自有许可证允许使用、修改、微调、再分发和商业使用。但过去连续12个月合计营收超过2000万美元的模型服务商及其关联方,须在商业使用前另行签署合同。

月活跃用户超过1亿或月营收超过2000万美元的商业产品或服务,须在用户界面上标明模型名称。内部使用,以及通过月之暗面官方产品或认证推理合作伙伴使用的情形,不受另行签约与标注模型名称两项条件的约束。

Kimi K3.1 Pro于上个月发布,权重发布计划在当时已一并公布。月之暗面在发布说明中表示,已从中间训练数据和强化学习任务中过滤并移除与网络安全相关的内容,以降低滥用风险。

快速问答

Kimi K3.1 Pro的权重在哪里可以下载?

权重发布于Hugging Face,分发仓库约1.56 TB,权重分为96个文件。

Kimi K3.1 Pro可以商业使用吗?

可以。许可证允许使用、修改、微调、再分发和商业使用,但达到营收门槛的模型服务商及其关联方须另行签约,达到用户或营收门槛的产品须在界面标注模型名称。

运行Kimi K3.1 Pro推荐哪些推理引擎?

官方推荐vLLM、SGLang和TokenSpeed。

来源