
7月28日,月之暗面正式宣布全面开源其最新发布的Kimi K3大模型权重及技术报告,并向全球开发者开放了支撑该模型训练的三大核心基础设施(Infra)技术:MoonEP、FlashKDA和AgentEnv。此举标志着月之暗面从单纯开放模型能力,转向系统性地展示大模型训练与智能体后训练的完整技术体系。
Kimi K3是一款拥有2.8万亿参数的混合专家(MoE)模型,参数规模约为前代Kimi K2.5的3倍。该模型具备原生视觉理解能力,并支持高达100万token的超长上下文窗口。在并不宽裕的算力条件下,Kimi K3凭借Kimi Delta Attention、Attention Residuals(注意力残差)以及MoonEP等一系列底层架构创新,实现了规模化效率提升约2.5倍的突破。目前,全球开发者均可自由下载并部署Kimi K3,无论是用于内部研发还是嵌入终端产品,均不受限制。
支撑Kimi K3训练效率与稳定性的三大关键技术也在此次全面开源。其中,MoonEP是专为超大细粒度MoE架构打造的高性能通信库,确保专家并行通信在负载不均衡的情况下仍能实现极致效率;FlashKDA作为Kimi Delta Attention的高性能算子,在英伟达H20芯片上相比基线方案将prefill速度提升了1.72至2.22倍,可直接作为替换后端使用;AgentEnv则是月之暗面与KVCache.ai联合开发的智能体沙箱系统,为大规模Agent运行提供高保真、强隔离的环境,支持快速快照、恢复及分叉功能,以满足复杂并行工作流与后训练任务的需求。
此次技术开源不仅降低了超大规模模型研究的门槛,也进一步推动了国产开源模型生态从单纯的能力竞争向底层工程化能力的比拼升级,为全球研究机构和开发者提供了更为透明的技术参考。


