微软Win11 AI框架升级 支持GGUF与ONNX本地推理

驱动中国10月9日消息，据 NeoWin 报道，微软正在升级面向 Windows 11 的 Windows ML，并联合 llama.cpp 与 GGUF 开源社区，为 Windows 平台带来实验性原生支持，可运行 GGUF 与 ONNX 格式模型的本地推理，同时推出 Windows ML Runtime API。

在 Windows 与 Surface 十月活动中，微软介绍了 Windows ML 的最新进展。Windows ML 是微软面向 Windows 11 的本地 AI 推理框架，开发者可在设备端运行 AI 模型，构建文本生成、语音识别等应用，并降低对特定硬件优化的依赖。

微软表示，通过社区合作，开发者现在可以借助 llama.cpp 的实验性集成，从 Hugging Face 导入 GGUF 模型，并直接在本地运行。在性能方面，微软与英伟达公司合作，向 llama.cpp 及相关性能优化贡献代码。

Windows ML 新增实验性 Windows 原生推理路径，可运行 ONNX 与 GGUF 两类模型。该路径正式名称为 Windows ML Runtime API。微软称，该 API 具备更高性能、更深的系统集成以及更细粒度的控制能力。

GGUF 是常用于本地运行大语言模型的模型文件格式，开发者可从 Hugging Face 等平台获取相关模型，并通过 llama.cpp 等工具在个人电脑上加载与推理。ONNX 是开放神经网络交换格式，用于在不同框架和硬件之间迁移 AI 模型；ONNX Runtime 是其常用运行环境，可支持模型在 Windows 设备上的推理部署。

在 Windows ML Runtime API 支持下，微软同时推出 Text Generation API 与 Speech Recognition API，开发者可使用这两组接口构建文本生成与语音识别功能。

微软表示，ONNX Runtime API 仍获得完整支持；未来针对 Windows 的优化将优先投向 Windows ML Runtime API。两种运行时均已包含在当前版本中，开发者可根据熟悉程度选择迁移时机。