Hacker News · AI 最新· antimora·· 8 天前AI 评分67
Windows ML 新增实验性 llama.cpp 支持,可在本地运行 GGUF 模型
AI Development on Windows: From PyTorch and Llama.cpp to Windows ML
AI 导读
微软宣布 Windows ML 实验性支持 llama.cpp,开发者可通过新的任务特定 API 在本地运行 GGUF 模型。本次更新还带来预览版 Windows 原生 Runtime API,同时支持 ONNX 与 GGUF 格式,并暴露 OpenAI 兼容端点,可用现有 OpenAI SDK 对本地模型做原型开发。
来源:Hacker News · AI 最新 · devblogs.microsoft.com