OpenAI 通过 Video PreTraining (VPT) 在大量无标注人类 Minecraft 游戏视频上预训练神经网络，仅使用少量标注数据。微调后模型可制作钻石工具，这一任务熟练人类通常需要 20 分钟以上（24,000 次操作）。模型使用原生人类键鼠界面，OpenAI 称其是迈向通用电脑操作智能体的一步。
推荐理由：OpenAI 用少量标注数据加大量无标注视频预训练，让模型学会 Minecraft 中的钻石工具制作，为通用电脑操作智能体提供可迁移方法。
OpenAI 训练了能描述摘要缺陷的批评写作模型，人类评估者在阅读模型批评后能更频繁地发现摘要缺陷。模型规模越大越擅长自我批评，且规模对批评写作的提升超过对摘要写作的提升，这为用 AI 辅助人类监督 AI 展示了前景。
大型神经网络是近期 AI 进步的核心，但其训练是艰巨的工程与研究挑战，需要协调一个 GPU 集群来完成单一同步计算。
Cohere、OpenAI 和 AI21 Labs 共同制定了一套初步的最佳实践，适用于任何开发或部署大语言模型的组织。
OpenAI Codex 现已通过 OpenAI API 为 70 个不同的应用提供支持，覆盖多种用例。
OpenAI 宣布 DALL·E 2 研究预览版早期用户已创建超过 300 万张图片，并将每周从候补名单新增最多 1000 名用户。早期用户还帮助改进了安全流程。
OpenAI 宣布多项高管角色调整。这些变动反映了公司近期的进展，旨在确保 OpenAI 向下一个重大里程碑持续推进的势头。
OpenAI 官方博客发表研究《Hierarchical text-conditional image generation with CLIP latents》，主题为基于 CLIP latents 的分层文本条件图像生成。
OpenAI 发布 GPT-3 与 Codex 新版本，支持对现有文本进行编辑或插入内容，而不仅是补全文本。
推荐理由：相比此前只能补全文本，新版本 GPT-3 和 Codex 可直接编辑或在现有文本中插入内容，读者可据此判断其适用场景是否扩展。
OpenAI 正在征集研究意向，邀请各方参与研究大语言模型对经济的影响。
OpenAI 构建了面向 Lean 的神经定理证明器，可求解多种高难度中学奥林匹克问题。该系统已能解决 AMC12 与 AIME 竞赛题，以及两道改编自 IMO 的题目。
OpenAI 训练出比 GPT-3 更能遵循用户意图的 InstructGPT 模型，现已作为 API 的默认语言模型部署。这些模型采用人在回路方式训练，同时提高了真实性并降低了毒性，所用技术来自其对齐研究。
推荐理由：原文给出了 InstructGPT 相对 GPT-3 在意图遵循、真实性与毒性上的改进，读者可据此理解人在回路训练对模型对齐的作用。
OpenAI 在 API 中推出新的 embeddings 端点，便于对文本和代码执行语义搜索、聚类、主题建模与分类任务。该端点旨在降低自然语言与代码任务的处理门槛。
推荐理由：原文列出了新端点支持的语义搜索、聚类、主题建模与分类四类任务，读者可据此判断是否将其接入现有 API 工作流。
OpenAI 通过文本网页浏览器微调 GPT-3，使其能更准确地回答开放式问题。该研究探索了让语言模型借助网页浏览提升事实准确性的方法。
推荐理由：原文介绍了用文本浏览器微调 GPT-3 以提升事实准确性的方法，为语言模型结合外部信息检索提供了参考。
OpenAI 宣布推出 OpenAI Residency 项目，作为其支持和发展 AI 人才努力的一部分。该计划旨在为 AI 领域的人才提供支持与培养。
OpenAI 宣布其 API 现已无需等待名单即可使用，并称更广泛的可用性得益于安全方面的进展。
推荐理由：原文说明 OpenAI API 取消等待名单并归因于安全进展，读者可据此判断接入门槛与可用性的变化。
OpenAI 训练的一个系统可解答小学数学应用题，准确率接近微调 GPT-3 模型的两倍。在相同题目上，9-12 岁儿童样本得分 60%，该系统得分 55%。
OpenAI 今日宣布，正式任命 Helen Toner 为公司董事会成员。
OpenAI 推出改进版 Codex，该系统可将自然语言翻译为代码，即日起通过 API 以私有测试形式开放。
推荐理由：原文给出了 Codex 的自然语言转代码定位与 private beta 开放方式，读者可据此判断它对编程工作流的影响。
OpenAI 最新研究发现，通过在小型精选数据集上微调，可以改善语言模型在特定行为价值观方面的表现。
2021 届 OpenAI Scholars 学员已完成六个月的导师计划，并在 OpenAI 的资助与支持下产出了开源研究项目。
OpenAI 宣布国会议员 Will Hurd 加入其董事会。公司致力于开发造福全人类的通用人工智能，认为实现该目标需要公共政策与技术两方面的专业知识。
OpenAI 的 GPT-3 已被超过 300 款应用通过 API 用于提供搜索、对话、文本补全等高级 AI 功能。
OpenAI 研究发现 CLIP 中存在多模态神经元，无论概念以字面、符号还是概念形式呈现，这些神经元都会做出相同反应。这可能解释了 CLIP 在分类概念的意外视觉呈现时的高准确率，也是理解 CLIP 及类似模型所学到的关联与偏见的重要一步。
OpenAI 已将 Kubernetes 集群扩展至 7,500 个节点，为 GPT-3、CLIP、DALL·E 等大模型打造可扩展的基础设施。该集群同时支持快速的小规模迭代研究，例如 Scaling Laws for Neural Language Models 一类的工作。
OpenAI 发布神经网络 CLIP，可从自然语言监督中高效学习视觉概念。只需提供待识别类别的名称，CLIP 即可用于任何视觉分类基准，具备类似 GPT-2 和 GPT-3 的 zero-shot 能力。原文链接：https://openai.com/index/clip
推荐理由：CLIP 用自然语言监督学习视觉概念，让视觉分类不再依赖人工标注，可对照 GPT 的 zero-shot 思路理解其迁移方式。
过去一年，OpenAI 经历了剧烈的变化与增长。
OpenAI 已同意将 GPT-3 技术授权给微软，用于其自有产品和服务。
推荐理由：原文明确了 GPT-3 授权仅限微软自有产品与服务，读者可据此判断这一合作如何影响 GPT-3 的商业化路径。
OpenAI 表示已将人类反馈强化学习（RLHF）应用于语言模型训练，使其在摘要任务上表现更好。
推荐理由：这篇材料给出了 RLHF 在摘要任务上的具体用法，可迁移到其他需要人类偏好对齐的文本生成场景。
第三届 OpenAI Scholars 学员在虚拟 Demo Day 上展示了他们的最终项目，呈现了过去五个多月的研究成果。
OpenAI 宣布与 AIcrowd、Carnegie Mellon University 及 DeepMind 联合举办两项 NeurIPS 2020 竞赛。这两项竞赛分别使用 Procgen Benchmark 和 MineRL。
OpenAI 研究发现，与在语言上训练的大型 Transformer 相同的模型在像素序列上训练后，可以生成连贯的图像补全与样本。研究还建立了样本质量与图像分类准确率之间的相关性，其最佳生成模型在无监督设置下的特征可与顶级卷积神经网络竞争。
OpenAI 发布了一款 API，用于访问 OpenAI 新开发的 AI 模型。
推荐理由：OpenAI 发布用于访问其新开发 AI 模型的 API，读者可据此了解其模型对外供给的官方入口。
OpenAI 发布分析称，自 2012 年以来在 ImageNet 分类任务上训练到同等性能所需的算力每 16 个月减少一半；训练到 AlexNet 水平所需算力仅为 2012 年的 1/44，而摩尔定律同期仅能带来 11 倍改善，表明算法进步带来的增益已超过经典硬件效率。原文：https://openai.com/index/ai-and-efficiency
OpenAI 发布 Jukebox，这是一个能按多种流派和艺人风格生成原始音频音乐、包括简单演唱的神经网络。官方同时开源了模型权重和代码，并发布了一款用于浏览生成样本的工具。
推荐理由：原文给出了模型按流派和艺人风格生成原始音频的能力，以及开源权重、代码和试听工具，读者可据此判断它在音乐创作流程中的可用性。
OpenAI 参与了一份由 30 个组织的 58 位共同作者完成的多方报告，提出 10 项机制以提升 AI 系统相关声明的可验证性。开发者可利用这些工具提供证据，证明其 AI 系统具备安全性、可靠性、公平性或隐私保护能力。用户、政策制定者及民间社会也能借此评估 AI 开发流程。
OpenAI 推出 OpenAI Microscope，汇集了八个常用于可解释性研究的视觉“模式生物”的每一个重要层和神经元的可视化。该工具使分析这些神经网络内部形成的特征变得更加容易，旨在帮助研究社区理解这些复杂系统。
OpenAI 宣布将其深度学习框架标准化到 PyTorch。
OpenAI 研究表明，CNN、ResNet 和 Transformer 中都存在双重下降现象：随着模型规模、数据量或训练时长增加，性能先提升、后下降、再提升。仔细的正则化通常可以避免这一效应；该现象相当普遍，但成因尚未被完全理解，OpenAI 认为进一步研究是重要方向。
推荐理由：文章揭示了增大模型规模、数据量或训练时长时性能会先升后降再升，为理解过拟合与正则化提供了新的分析视角。
OpenAI 发布 Procgen Benchmark，包含 16 个易用的程序化生成环境。该基准可直接衡量强化学习智能体学习可泛化技能的速度。