ChatGPT 3 月 20 日宕机：发生了什么
OpenAI 发布 3 月 20 日 ChatGPT 宕机事件的调查更新，说明了调查发现、已采取的应对措施以及该 bug 的技术细节。
#部署/工程
#部署/工程
今日 0 条OpenAI News精选AI 评分6262
OpenAI NewsAI 评分2828 训练大型神经网络的技术
大型神经网络是近期 AI 进步的核心，但其训练是艰巨的工程与研究挑战，需要协调一个 GPU 集群来完成单一同步计算。
OpenAI NewsAI 评分5353 Cohere、OpenAI 与 AI21 Labs 联合发布语言模型部署最佳实践
Cohere、OpenAI 和 AI21 Labs 共同制定了一套初步的最佳实践，适用于任何开发或部署大语言模型的组织。
OpenAI News精选AI 评分8282 InstructGPT：OpenAI 对齐语言模型以遵循用户指令
OpenAI 训练出比 GPT-3 更能遵循用户意图的 InstructGPT 模型，现已作为 API 的默认语言模型部署。这些模型采用人在回路方式训练，同时提高了真实性并降低了毒性，所用技术来自其对齐研究。
推荐理由：原文给出了 InstructGPT 相对 GPT-3 在意图遵循、真实性与毒性上的改进，读者可据此理解人在回路训练对模型对齐的作用。
OpenAI NewsAI 评分3636 OpenAI 将 Kubernetes 集群扩展至 7,500 个节点
OpenAI 已将 Kubernetes 集群扩展至 7,500 个节点，为 GPT-3、CLIP、DALL·E 等大模型打造可扩展的基础设施。该集群同时支持快速的小规模迭代研究，例如 Scaling Laws for Neural Language Models 一类的工作。
OpenAI NewsAI 评分3838 OpenAI 发布面向块稀疏权重网络的 GPU kernel
OpenAI 发布了针对块稀疏权重网络的高度优化 GPU kernel，根据所选稀疏度，速度可比 cuBLAS 或 cuSPARSE 快多个数量级。这些 kernel 已用于文本情感分析以及文本和图像生成建模，并取得 SOTA 结果。
OpenAI NewsAI 评分1414 深度学习的基础设施
OpenAI 指出，深度学习是一门实证科学，基础设施的质量是研究进展的乘数。如今的开源生态系统已经让任何人都能构建出色的深度学习基础设施。