OpenAI 发布 CLIP:连接文本与图像
OpenAI 发布神经网络 CLIP,可从自然语言监督中高效学习视觉概念。只需提供待识别类别的名称,CLIP 即可用于任何视觉分类基准,具备类似 GPT-2 和 GPT-3 的 zero-shot 能力。原文链接:https://openai.com/index/clip
推荐理由:CLIP 用自然语言监督学习视觉概念,让视觉分类不再依赖人工标注,可对照 GPT 的 zero-shot 思路理解其迁移方式。
OpenAI 的全部动态:GPT 系列模型、ChatGPT 与 Sora 产品、公司战略与人事的持续追踪。
OpenAI 发布神经网络 CLIP,可从自然语言监督中高效学习视觉概念。只需提供待识别类别的名称,CLIP 即可用于任何视觉分类基准,具备类似 GPT-2 和 GPT-3 的 zero-shot 能力。原文链接:https://openai.com/index/clip
推荐理由:CLIP 用自然语言监督学习视觉概念,让视觉分类不再依赖人工标注,可对照 GPT 的 zero-shot 思路理解其迁移方式。
OpenAI 已同意将 GPT-3 技术授权给微软,用于其自有产品和服务。
推荐理由:原文明确了 GPT-3 授权仅限微软自有产品与服务,读者可据此判断这一合作如何影响 GPT-3 的商业化路径。
OpenAI 表示已将人类反馈强化学习(RLHF)应用于语言模型训练,使其在摘要任务上表现更好。
推荐理由:这篇材料给出了 RLHF 在摘要任务上的具体用法,可迁移到其他需要人类偏好对齐的文本生成场景。
OpenAI 发布了一款 API,用于访问 OpenAI 新开发的 AI 模型。
推荐理由:OpenAI 发布用于访问其新开发 AI 模型的 API,读者可据此了解其模型对外供给的官方入口。
OpenAI 发布 Jukebox,这是一个能按多种流派和艺人风格生成原始音频音乐、包括简单演唱的神经网络。官方同时开源了模型权重和代码,并发布了一款用于浏览生成样本的工具。
推荐理由:原文给出了模型按流派和艺人风格生成原始音频的能力,以及开源权重、代码和试听工具,读者可据此判断它在音乐创作流程中的可用性。
OpenAI 研究表明,CNN、ResNet 和 Transformer 中都存在双重下降现象:随着模型规模、数据量或训练时长增加,性能先提升、后下降、再提升。仔细的正则化通常可以避免这一效应;该现象相当普遍,但成因尚未被完全理解,OpenAI 认为进一步研究是重要方向。
推荐理由:文章揭示了增大模型规模、数据量或训练时长时性能会先升后降再升,为理解过拟合与正则化提供了新的分析视角。
OpenAI 发布 GPT-2 的最大版本,参数量 1.5B,并同步开放代码与模型权重,用于检测 GPT-2 模型的输出。这是 GPT-2 分阶段发布计划的最后一个模型,OpenAI 希望该完整过程为未来更强模型的开发者提供测试案例,并继续与 AI 社区讨论负责任发布。
推荐理由:原文交代了 GPT-2 分阶段发布计划收尾的动机与完整过程,读者可据此理解负责任发布策略如何从设想落地为可操作的流程。
OpenAI 训练了一对神经网络,让类人机器人手解魔方。网络完全在模拟环境中训练,使用与 OpenAI Five 相同的强化学习代码,并配合新技术 Automatic Domain Randomization (ADR)。系统能应对训练中未见过的情形,例如被长颈鹿毛绒玩具戳碰,表明强化学习也能解决需要前所未有灵活性的物理世界问题。
推荐理由:原文给出了模拟训练加 Automatic Domain Randomization 的方法路径,可迁移到其他需要物理灵活性的机器人任务。
OpenAI 观察到智能体在简单的捉迷藏游戏中逐步发现更复杂的工具使用方式,并在新的模拟捉迷藏环境中形成六种不同的策略与反策略,其中一些是研究者此前不知道该环境支持的。这种自监督涌现的复杂性进一步表明,多智能体协同适应未来可能产生极其复杂和智能的行为。
推荐理由:智能体在简单的捉迷藏环境中通过自监督训练涌现出六种策略与反策略,为多智能体协同演化产生复杂行为提供了可参照的路径。
OpenAI 发布 774M 参数的 GPT-2 语言模型,这是继 2 月发布 124M 小模型、5 月发布 355M 中模型之后的第三阶段释放。同时开源了一份法律协议,方便机构之间开展模型共享合作,并发布技术报告介绍与 AI 研究社区协调发布规范的经验。
推荐理由:这是 GPT-2 分阶段发布的第三步,读者可对照 124M 与 355M 版本理解其开放节奏与发布策略。
Microsoft 向 OpenAI 投资 $1 billion,双方将在 Microsoft Azure 上共同开发可扩展到 AGI 的硬件与软件平台。Microsoft 将成为 OpenAI 的独家云服务商,双方还将联合开发新的 Azure AI 超级计算技术。
推荐理由:这笔投资确立了双方在 Azure 上共建 AGI 级算力平台的合作关系,可作为观察 AI 算力格局变化的一个起点。
OpenAI Five 在周末的 Finals 中连续两局击败 Dota 2 世界冠军战队 OG,成为首个在电竞游戏中战胜世界冠军的 AI。此前 OpenAI Five 与 DeepMind 的 AlphaStar 都曾在私下击败过职业选手但在直播比赛中落败,这次也是 AI 首次在直播中战胜电竞职业选手。
推荐理由:对比 OpenAI Five 与 AlphaStar 此前私下击败职业选手、直播却落败的经历,本场胜利让 AI 在直播赛事中越过电竞职业选手门槛。
OpenAI 成立 OpenAI LP,这是一家“capped-profit”(利润封顶)公司,目的是快速增加对算力和人才的投入,同时通过制衡机制落实其使命。
推荐理由:原文交代了 OpenAI LP 作为利润封顶公司的定位,读者可据此理解 OpenAI 在扩大投入与使命制衡之间的取舍。
OpenAI 训练了一个大规模无监督语言模型,能生成连贯的文本段落,并在多项语言建模基准上达到 SOTA。该模型无需任务专属训练,即可完成基础的阅读理解、机器翻译、问答和摘要。
推荐理由:原文记录了大规模无监督语言模型在无需任务专属训练时即可完成阅读理解、翻译、问答与摘要,可作为理解通用语言能力演进的背景。
OpenAI 发布 Spinning Up in Deep RL,一个帮助任何人成为深度强化学习熟练实践者的教育资源,由清晰的 RL 代码示例、练习、文档和教程组成。
推荐理由:这套资源由示例代码、练习、文档和教程组成,读者可据此判断它能否作为入门深度强化学习的实践路径。
OpenAI Five 本周在温哥华举行的 The International 上两负顶级 Dota 2 选手。两局比赛的前 20 至 35 分钟,OpenAI Five 都保持着获胜机会。
推荐理由:原文记录了两局比赛前 20 至 35 分钟 OpenAI Five 仍保持胜机,读者可据此观察 AI 在长时局博弈中的能力边界。
昨天,OpenAI Five 在现场观众和 10 万名同步直播观众面前,以三局两胜击败了一支由 99.95 百分位 Dota 玩家组成的队伍:Blitz、Cap、Fogged、Merlini 和 MoonMeander,其中四人曾有职业 Dota 比赛经历。
推荐理由:原文记录了 OpenAI Five 击败高水平 Dota 玩家的赛果,为评估当时游戏 AI 的能力边界提供了参照。
OpenAI 训练了一只类人机器人手,能够以空前的灵巧度操作实物。
OpenAI 官方宣布,由五个神经网络组成的 OpenAI Five 已开始在 Dota 2 中击败业余人类战队。
推荐理由:原文由官方直接交代 OpenAI Five 的规模与对战结果,可作为了解游戏 AI 进展的一手背景。
OpenAI 在一系列多样的语言任务上取得 SOTA 结果,所用系统可扩展且任务无关,并同时开源。该方法结合 Transformer 与无监督预训练,表明将监督学习方法与无监督预训练配合使用效果良好,OpenAI 希望该结果推动在更大、更多样数据集上应用这一思路的研究。
推荐理由:原文记录了 OpenAI 将 Transformer 与无监督预训练结合的验证,可据此理解该思路在语言任务上的效果。