跳到正文

部署工程

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

最新精选

第 21–40 条 · 共 48 条
10月2日周五
10月1日周四
  1. The Verge · AI66

    The Verge 数月调查复盘:Kevin O'Leary 犹他数据中心项目 Stratos 如何被地方反弹拖停

    The Verge 的 Decoder 播客请记者 Josh Dzieza 复盘数月调查:Kevin O'Leary 原计划在犹他州建设 40,000 英亩、9 吉瓦的 AI 数据中心园区 Stratos(又称 Wonder Valley),项目绕过县政府、居民被蒙在鼓里,激起跨党派反弹,最终在公投诉讼与政治压力下失去势头。

    推荐理由:通过犹他州一个超大规模数据中心项目的受挫过程,看清 AI 基建竞赛中速度政治与地方民主的正面冲突。

9月30日周三
  1. The Decoder69

    DeepSeek 发布面向华为昇腾芯片的开源编程工具 TileLang

    DeepSeek 与华为合作,为昇腾芯片构建编程工具并全部开源,核心是 TileLang 编程语言。TileLang 由北京大学研究人员开发,DeepSeek 已使用约一年,双方还优化了由 128 颗昇腾 950 芯片组成的超节点集群。DeepSeek 认为 TileLang 提供了比 CUDA 更简单的编程模型,华为表示全力支持此项工作。

    推荐理由:文章把 DeepSeek 与华为的合作放在 CUDA 生态护城河的背景下比较,读者可以判断国产芯片软件生态的进展与差距。

9月28日周一
  1. OSCHINA 社区73

    Strands 开源组装完整的通用 Agent harness,同模型下 token 省 28%

    Strands 开源了一个组装完整、可定制的通用 agent harness,接入任意模型只需一行代码,同模型下 token 消耗可省 28%。相比 Claude Code、Codex 这类开箱即用的 harness,开发者自建 agent 需要自行把各种原语拼到「刚刚好」的程度,Strands 把这件事简化为一行代码。

    推荐理由:原文对比了开箱即用 harness 与自建 agent 的搭建成本,并给出一个同模型下更省 token 的可复用方案。

9月26日周六
  1. Latent Space66

    OpenRouter 联合创始人复盘:从开源浪潮到被 Stripe 收购的多模型之路

    Latent Space 对谈 OpenRouter 联合创始人兼 CEO Alex Atallah 与 AMP 的 Anjney Midha,复盘 OpenRouter 如何从 Llama、Alpaca 时期的开源浪潮成长为服务超过 1000 万开发者的中立模型路由层,并最终被 Stripe 收购。

    推荐理由:对话还原了 OpenRouter 从被 VC 讥为只是 wrapper 到成为 AI 生态关键分发设施的历程,并解释了多模型与推理市场为何成立。

9月23日周三
  1. 阿里云开发者70

    阿里文征:千问AI平台面向Agent全面升级模型服务、Agent服务与AI应用

    在2026云栖大会MaaS&Agent技术主论坛上,文征宣布千问AI平台全面升级,以推动Agent进入生产为核心,在模型服务基础上新增Agent服务与行业AI解决方案支持,并发布API优速模式、Agent Studio、千问AI座舱解决方案等能力。

    推荐理由:原文列出了从模型服务到Agent服务的完整升级清单,读者可据此判断阿里云MaaS体系能覆盖哪些生产环节。

9月14日周一
  1. 阿里云开发者77

    DeepSeek-V4.1-Flash上线千问AI平台,API与Token Plan同步开放

    DeepSeek-V4.1-Flash正式上线千问AI平台,API服务与Token Plan同步开放,开发者可在Qoder、千问APP、Codex等工具中调用。模型原生支持文本与图像理解,最长支持100万Token上下文,可用于代码开发、长文档处理、视觉理解和智能体任务。借助新一代缓存压缩技术,其HBM需求降至上一代模型的1/4、SSD存储需求降至1/8,部署基于vLLM开源社区适配完成。

    推荐理由:原文列出了模型的多模态能力、100万Token上下文与存储需求降幅,读者可据此评估长上下文场景的部署成本。

8月31日周一
  1. 潮流周刊71

    潮流周刊第 280 期:AI 时代如何保证代码可持续迭代和维护

    潮流周刊发布第 280 期,收录 celldock-for-mac、kooky、jj 等开源工具,并重点分享 AI 时代保证代码可持续迭代和维护的实践经验。作者以自己的 Mole 项目为例,它有 11 万行 Swift 产品代码和 3347 个 XCTest,他主张 AI 写的代码应该让 AI 来测试,并通过单测、回归测试、Rules/Skills 与 GitHub Actions 让代码不腐化。

    推荐理由:作者以 11 万行 Swift 项目的实操经验,总结了让 AI 生成代码不腐化的测试、规则与 CI 方法,可迁移到其他项目。

8月26日周三
  1. 智谱 · 官方公众号83

    智谱上线并开源 GLM-5.3-Flash,前沿智能进入普惠时代

    智谱上线并开源 GLM-5.3-Flash(320B-A18B),这是 GLM-5 系列首个原生多模态模型,AA 综合智能指数取得 57 分,与 Claude Opus 4.8 持平,定价为 GLM-5.3 的 1/10、限时折扣内 1/20、Opus 4.8 的 1/40。

    推荐理由:原文给出与 Claude Opus 4.8 的能力与价格对照,以及混合注意力架构的降本路径,可据此评估前沿模型的成本走向。

8月21日周五
  1. 腾讯技术工程76

    靠 10 个优化点,我们将 Multi-Agent 工作流成本降低 50% 以上

    腾讯工程师 lemonye 用 1 个 TL 加 6 个子 Agent 的 harness 工作流驱动前后端开发,围绕只看当前需要的上下文、减少无关上下文、减少重复上下文三个原则改造 10 个方向,全流程预估降本 50%~65%。

    推荐理由:作者把 Multi-Agent 工作流的 token 消耗拆成六类来源,逐一给出十个可复用的优化方向和实测降幅。

8月4日周二
  1. 晚点聊 LateTalk73

    详解 Kimi K3:强到冲击 Anthropic 估值的模型什么样?

    本期《晚点聊》邀请 RadixArk 创始成员赵晨阳与华盛顿大学博士生曾致远,从推理与算法两条线拆解 Kimi K3。节目解读了 K3 的 3T 开放权重、KDA+MLA 混合注意力与智能体训练环境,并讨论它在美国 AI 界和投资市场引发的关注及相关的开源大辩论。

    推荐理由:两位嘉宾从算法与推理系统两条线拆解 K3 的混合注意力、MoE 与训练细节,帮助理解开源模型究竟开放了什么、保留了什么。

7月7日周二
  1. AI 炼金术77

    徐文浩:纯 Vibe Coding 做大项目一定会塌掉

    徐文浩认为纯 vibe coding 做大项目一定会塌,但结论不是 AI 没用,而是要围绕 AI 搭一整套 harness 并持续迭代。

    推荐理由:徐文浩把个人基建、Discord 对话层和公司门禁一整套 harness 完整摊开,给出了可直接照搬的并行任务与每日单类汇报设计。

4月28日周二
4月15日周三
2月5日周四
  1. OpenAI News71

    OpenAI 推出企业级智能体平台 OpenAI Frontier

    OpenAI 推出 OpenAI Frontier,一个用于构建、部署和管理 AI 智能体的企业级平台。平台提供共享上下文、入职引导、权限和治理能力。

    推荐理由:原文明确了该平台面向企业智能体的构建与管理需求,读者可据此判断它与现有内部工具的差异。

1月15日周四
1月14日周三
10月13日周一
  1. OpenAI News64

    OpenAI 与 Broadcom 宣布战略合作,部署 10 GW OpenAI 自研 AI 加速器

    OpenAI 与 Broadcom 宣布多年合作,计划到 2029 年部署 10 GW 由 OpenAI 设计的 AI 加速器,双方将共同开发下一代系统与以太网解决方案,用于构建可扩展且节能的 AI 基础设施。

    推荐理由:原文给出了合作规模、时间表与分工,读者可以据此判断 OpenAI 自研算力路线对基础设施供应链的影响。

10月6日周一