跳到正文

部署工程

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

最新精选

第 41–48 条 · 共 48 条
9月22日周一
7月22日周二
5月22日周四
  1. OpenAI News60

    OpenAI 推出 Stargate UAE

    OpenAI 推出 Stargate UAE,这是其 AI 基础设施平台 Stargate 的首次国际部署。

    推荐理由:Stargate UAE 是 OpenAI 基础设施平台 Stargate 的首次国际部署,读者可据此了解其全球算力布局动向。

8月6日周二
  1. OpenAI News82

    OpenAI API 推出 Structured Outputs

    OpenAI 在 API 中推出 Structured Outputs 功能,模型输出现在可以可靠地遵循开发者提供的 JSON Schema。

    推荐理由:官方让模型输出严格遵循开发者提供的 JSON Schema,读者可据此判断它如何简化现有的数据解析与接口对接工作。

8月2日周五
  1. DeepSeek 更新日志73

    DeepSeek API 上线硬盘缓存技术

    DeepSeek API 上线硬盘缓存技术,调用价格再降一个数量级。更新详情见官方文档(2024/08/02):https://api-docs.deepseek.com/zh-cn/updates/#api-上线硬盘缓存技术

    推荐理由:材料说明 DeepSeek API 采用硬盘缓存后价格再降一个数量级,读者可据此评估该机制对调用成本的影响。

4月24日周三
3月24日周五
1月27日周四
  1. OpenAI News82

    InstructGPT:OpenAI 对齐语言模型以遵循用户指令

    OpenAI 训练出比 GPT-3 更能遵循用户意图的 InstructGPT 模型,现已作为 API 的默认语言模型部署。这些模型采用人在回路方式训练,同时提高了真实性并降低了毒性,所用技术来自其对齐研究。

    推荐理由:原文给出了 InstructGPT 相对 GPT-3 在意图遵循、真实性与毒性上的改进,读者可据此理解人在回路训练对模型对齐的作用。