OpenAI 用 RLHF 训练更擅长摘要的语言模型
OpenAI 表示已将人类反馈强化学习（RLHF）应用于语言模型训练，使其在摘要任务上表现更好。
推荐理由：这篇材料给出了 RLHF 在摘要任务上的具体用法，可迁移到其他需要人类偏好对齐的文本生成场景。
#OpenAI
#OpenAI
今日 0 条OpenAI News精选AI 评分6262
OpenAI NewsAI 评分2727 OpenAI Scholars 2020：最终项目展示
第三届 OpenAI Scholars 学员在虚拟 Demo Day 上展示了他们的最终项目，呈现了过去五个多月的研究成果。
OpenAI NewsAI 评分3232 OpenAI 联合举办 NeurIPS 2020 Procgen 与 MineRL 竞赛
OpenAI 宣布与 AIcrowd、Carnegie Mellon University 及 DeepMind 联合举办两项 NeurIPS 2020 竞赛。这两项竞赛分别使用 Procgen Benchmark 和 MineRL。
OpenAI NewsAI 评分5555 OpenAI Image GPT 研究发现同一 Transformer 架构可生成连贯图像
OpenAI 研究发现，与在语言上训练的大型 Transformer 相同的模型在像素序列上训练后，可以生成连贯的图像补全与样本。研究还建立了样本质量与图像分类准确率之间的相关性，其最佳生成模型在无监督设置下的特征可与顶级卷积神经网络竞争。
OpenAI News精选AI 评分8181 OpenAI 发布用于访问新 AI 模型的 API
OpenAI 发布了一款 API，用于访问 OpenAI 新开发的 AI 模型。
推荐理由：OpenAI 发布用于访问其新开发 AI 模型的 API，读者可据此了解其模型对外供给的官方入口。
OpenAI NewsAI 评分5959 OpenAI 发布 AI 效率分析：训练同等性能模型所需算力每 16 个月减半
OpenAI 发布分析称，自 2012 年以来在 ImageNet 分类任务上训练到同等性能所需的算力每 16 个月减少一半；训练到 AlexNet 水平所需算力仅为 2012 年的 1/44，而摩尔定律同期仅能带来 11 倍改善，表明算法进步带来的增益已超过经典硬件效率。原文：https://openai.com/index/ai-and-efficiency
OpenAI News精选AI 评分6363 OpenAI 发布并开源 Jukebox 音乐生成神经网络
OpenAI 发布 Jukebox，这是一个能按多种流派和艺人风格生成原始音频音乐、包括简单演唱的神经网络。官方同时开源了模型权重和代码，并发布了一款用于浏览生成样本的工具。
推荐理由：原文给出了模型按流派和艺人风格生成原始音频的能力，以及开源权重、代码和试听工具，读者可据此判断它在音乐创作流程中的可用性。
OpenAI NewsAI 评分3838 OpenAI 参与多方报告，提升 AI 开发中的可验证性
OpenAI 参与了一份由 30 个组织的 58 位共同作者完成的多方报告，提出 10 项机制以提升 AI 系统相关声明的可验证性。开发者可利用这些工具提供证据，证明其 AI 系统具备安全性、可靠性、公平性或隐私保护能力。用户、政策制定者及民间社会也能借此评估 AI 开发流程。
OpenAI NewsAI 评分5050 OpenAI Microscope 发布
OpenAI 推出 OpenAI Microscope，汇集了八个常用于可解释性研究的视觉“模式生物”的每一个重要层和神经元的可视化。该工具使分析这些神经网络内部形成的特征变得更加容易，旨在帮助研究社区理解这些复杂系统。
OpenAI NewsAI 评分5858 OpenAI 宣布深度学习框架统一采用 PyTorch
OpenAI 宣布将其深度学习框架标准化到 PyTorch。
OpenAI News精选AI 评分6161 深度双重下降：模型规模增大时性能先升后降再升
OpenAI 研究表明，CNN、ResNet 和 Transformer 中都存在双重下降现象：随着模型规模、数据量或训练时长增加，性能先提升、后下降、再提升。仔细的正则化通常可以避免这一效应；该现象相当普遍，但成因尚未被完全理解，OpenAI 认为进一步研究是重要方向。
推荐理由：文章揭示了增大模型规模、数据量或训练时长时性能会先升后降再升，为理解过拟合与正则化提供了新的分析视角。
OpenAI NewsAI 评分3939 OpenAI 发布 Procgen Benchmark
OpenAI 发布 Procgen Benchmark，包含 16 个易用的程序化生成环境。该基准可直接衡量强化学习智能体学习可泛化技能的速度。
OpenAI News精选AI 评分7777 OpenAI 发布 GPT-2 最大版本（1.5B 参数）
OpenAI 发布 GPT-2 的最大版本，参数量 1.5B，并同步开放代码与模型权重，用于检测 GPT-2 模型的输出。这是 GPT-2 分阶段发布计划的最后一个模型，OpenAI 希望该完整过程为未来更强模型的开发者提供测试案例，并继续与 AI 社区讨论负责任发布。
推荐理由：原文交代了 GPT-2 分阶段发布计划收尾的动机与完整过程，读者可据此理解负责任发布策略如何从设想落地为可操作的流程。
OpenAI News精选AI 评分6262 OpenAI 用类人机器人手解魔方
OpenAI 训练了一对神经网络，让类人机器人手解魔方。网络完全在模拟环境中训练，使用与 OpenAI Five 相同的强化学习代码，并配合新技术 Automatic Domain Randomization (ADR)。系统能应对训练中未见过的情形，例如被长颈鹿毛绒玩具戳碰，表明强化学习也能解决需要前所未有灵活性的物理世界问题。
推荐理由：原文给出了模拟训练加 Automatic Domain Randomization 的方法路径，可迁移到其他需要物理灵活性的机器人任务。
OpenAI NewsAI 评分3030 OpenAI Scholars 2020 申请开放
OpenAI 宣布第三届 OpenAI Scholars 2020 项目正式开放申请。申请者现在即可提交申请。
OpenAI NewsAI 评分5151 OpenAI 用人类偏好微调 GPT-2 语言模型
OpenAI 用人类反馈微调了 774M 参数的 GPT-2 语言模型，成功匹配外部人类标注员的偏好，但这些偏好并不总是与作者自己的偏好一致。摘要任务需要 60k 个人类标注，而各种风格的续写任务只需 5k 个；由于标注员偏好整句照抄输入，模型也学会了照抄。其动机是把安全技术推进到“机器与人类对话”这一通用任务上。
OpenAI News精选AI 评分6262 多智能体交互中涌现的工具使用
OpenAI 观察到智能体在简单的捉迷藏游戏中逐步发现更复杂的工具使用方式，并在新的模拟捉迷藏环境中形成六种不同的策略与反策略，其中一些是研究者此前不知道该环境支持的。这种自监督涌现的复杂性进一步表明，多智能体协同适应未来可能产生极其复杂和智能的行为。
推荐理由：智能体在简单的捉迷藏环境中通过自监督训练涌现出六种策略与反策略，为多智能体协同演化产生复杂行为提供了可参照的路径。
OpenAI News精选AI 评分6868 OpenAI 发布 774M 参数 GPT-2 模型并开源模型共享法律协议
OpenAI 发布 774M 参数的 GPT-2 语言模型，这是继 2 月发布 124M 小模型、5 月发布 355M 中模型之后的第三阶段释放。同时开源了一份法律协议，方便机构之间开展模型共享合作，并发布技术报告介绍与 AI 研究社区协调发布规范的经验。
推荐理由：这是 GPT-2 分阶段发布的第三步，读者可对照 124M 与 355M 版本理解其开放节奏与发布策略。
OpenAI NewsAI 评分2222 OpenAI 将每周四设为 Learning Day
OpenAI 将每周四设为 Learning Day，员工可自主选择在这一天自学技术技能。这些技能旨在帮助员工提升工作表现，且通常是日常工作中无法直接学到的内容。
OpenAI News精选AI 评分8787 Microsoft 向 OpenAI 投资 10 亿美元并共建 Azure AGI 平台
Microsoft 向 OpenAI 投资 $1 billion，双方将在 Microsoft Azure 上共同开发可扩展到 AGI 的硬件与软件平台。Microsoft 将成为 OpenAI 的独家云服务商，双方还将联合开发新的 Azure AI 超级计算技术。
推荐理由：这笔投资确立了双方在 Azure 上共建 AGI 级算力平台的合作关系，可作为观察 AI 算力格局变化的一个起点。
OpenAI NewsAI 评分2828 OpenAI：为什么负责任的 AI 开发需要安全合作
OpenAI 发布一份政策研究论文，提出四项可立即用于促进 AI 行业在安全规范上长期合作的策略。这些策略包括沟通风险与收益、技术合作、提高透明度和激励标准。论文指出竞争压力可能引发集体行动问题，导致 AI 公司在安全上投资不足，加强合作将确保 AI 系统安全且有益。
OpenAI NewsAI 评分2424 OpenAI 2019 机器人研讨会
OpenAI 于 2019 年 4 月 27 日举办了首届 OpenAI 机器人研讨会。
OpenAI NewsAI 评分2727 OpenAI Scholars 2019：最终项目
第二期 OpenAI Scholars 项目正式结业，八位学员全部完成最终项目，并在 OpenAI 的 Scholars Demo Day 上进行展示。
OpenAI NewsAI 评分2020 OpenAI Fellows 2018 秋季班：最终项目
第二届 OpenAI Fellows 已完成 6 个月学徒期，学员们从机器学习新手成长为 OpenAI 核心贡献者。OpenAI 目前正在滚动审阅下一轮 OpenAI Fellows 2019 夏季班的申请。
OpenAI NewsAI 评分5858 OpenAI 发布 MuseNet 音乐生成模型
OpenAI 发布 MuseNet，这是一个深度神经网络，可生成 4 分钟、含 10 种乐器的乐曲，并融合从乡村、莫扎特到披头士的风格。它没有被显式编程音乐知识，而是通过学习预测数十万 MIDI 文件中的下一个 token，自己发现和声、节奏与风格规律。MuseNet 使用与 GPT-2 相同的通用无监督技术，即一个训练来预测序列中下一个 token 的大规模 Transformer 模型。
OpenAI NewsAI 评分5151 用 Sparse Transformer 进行生成式建模
OpenAI 提出 Sparse Transformer，一种在预测文本、图像或声音序列下一内容上创下新纪录的深度神经网络。它通过注意力机制的算法改进，可从比以往长 30 倍的序列中提取模式。
OpenAI News精选AI 评分8383 OpenAI Five 击败 Dota 2 世界冠军 OG
OpenAI Five 在周末的 Finals 中连续两局击败 Dota 2 世界冠军战队 OG，成为首个在电竞游戏中战胜世界冠军的 AI。此前 OpenAI Five 与 DeepMind 的 AlphaStar 都曾在私下击败过职业选手但在直播比赛中落败，这次也是 AI 首次在直播中战胜电竞职业选手。
推荐理由：对比 OpenAI Five 与 AlphaStar 此前私下击败职业选手、直播却落败的经历，本场胜利让 AI 在直播赛事中越过电竞职业选手门槛。
OpenAI NewsAI 评分4141 OpenAI Five 总决赛
OpenAI 将于太平洋时间 4 月 13 日上午 11:30 为 OpenAI Five 举办最后一场直播活动。
OpenAI NewsAI 评分3333 OpenAI：基于能量的模型的隐式生成与泛化方法
OpenAI 在基于能量的模型（EBM）的稳定、可扩展训练上取得进展，样本质量与泛化能力优于现有模型。EBM 生成时投入更多计算持续优化答案，低温下可产生与 GAN 竞争的样本，同时保留基于似然模型的模式覆盖保证。OpenAI 希望这些发现推动对这类模型的进一步研究。
OpenAI NewsAI 评分3030 OpenAI Scholars 2019：认识我们的学者
OpenAI 公布 OpenAI Scholars 2019 的 8 位入选学者，他们从 550 名申请者中脱颖而出。这批学者的专业背景涵盖文学、哲学、细胞生物学、统计学、经济学、量子物理学和商业创新。
OpenAI News精选AI 评分7070 OpenAI 成立利润封顶公司 OpenAI LP
OpenAI 成立 OpenAI LP，这是一家“capped-profit”（利润封顶）公司，目的是快速增加对算力和人才的投入，同时通过制衡机制落实其使命。
推荐理由：原文交代了 OpenAI LP 作为利润封顶公司的定位，读者可据此理解 OpenAI 在扩大投入与使命制衡之间的取舍。
OpenAI NewsAI 评分5050 OpenAI 与 Google 研究者合作发布 Activation Atlases 可视化技术
OpenAI 与 Google 研究者合作创建了 Activation Atlases，这是一种用于可视化神经元交互所代表内容的新技术。更好地理解 AI 系统的内部决策过程，将有助于发现其弱点并调查失效原因。
OpenAI NewsAI 评分4343 Neural MMO：面向强化学习智能体的大规模多智能体游戏环境
OpenAI 发布 Neural MMO，这是一个面向强化学习智能体的大规模多智能体游戏环境。该平台支持在持久、开放式任务中运行大量且数量可变的智能体。引入多智能体与多物种后，可带来更好的探索、差异化生态位形成和更高的整体能力。
OpenAI NewsAI 评分1919 OpenAI 首届 Spinning Up in Deep RL 研讨会回顾
OpenAI 于 2 月 2 日举办了首届 Spinning Up Workshop，这是其新教育计划的一部分。该研讨会聚焦深度强化学习（Deep RL）教学。
OpenAI NewsAI 评分3939 OpenAI：AI 安全需要社会科学家
OpenAI 发表论文，论证长期 AI 安全研究需要社会科学家参与，以确保 AI 对齐算法在真实人类参与时能够成功。论文指出，将高级 AI 系统与人类价值观正确对齐，需要解决与人类理性、情感和偏见的心理学相关的诸多不确定性。OpenAI 计划全职聘请社会科学家参与这项工作，并希望借此推动机器学习与社会科学研究者的进一步合作。
OpenAI News精选AI 评分9090 OpenAI：更好的语言模型及其影响
OpenAI 训练了一个大规模无监督语言模型，能生成连贯的文本段落，并在多项语言建模基准上达到 SOTA。该模型无需任务专属训练，即可完成基础的阅读理解、机器翻译、问答和摘要。
推荐理由：原文记录了大规模无监督语言模型在无需任务专属训练时即可完成阅读理解、翻译、问答与摘要，可作为理解通用语言能力演进的背景。
OpenAI NewsAI 评分3131 OpenAI Fellows 2018 夏季：最终项目
首届 OpenAI Fellows 项目收官，每位 Fellow 在为期 6 个月的学徒期内，从机器学习新手成长为 OpenAI 核心贡献者。
OpenAI NewsAI 评分5151 OpenAI 发布 CoinRun 量化强化学习中的泛化能力
OpenAI 发布 CoinRun 训练环境，用于量化智能体将经验迁移到新情境的能力，并已帮助澄清强化学习中长期存在的一个难题。CoinRun 复杂度适中，比 Sonic the Hedgehog 等传统平台游戏更简单，但仍对当前最先进算法构成有价值的泛化挑战。
OpenAI News精选AI 评分6767 OpenAI 发布深度强化学习教育资源 Spinning Up in Deep RL
OpenAI 发布 Spinning Up in Deep RL，一个帮助任何人成为深度强化学习熟练实践者的教育资源，由清晰的 RL 代码示例、练习、文档和教程组成。
推荐理由：这套资源由示例代码、练习、文档和教程组成，读者可据此判断它能否作为入门深度强化学习的实践路径。
OpenAI NewsAI 评分4545 OpenAI 用能量函数快速学习概念
OpenAI 开发了一种基于能量函数的模型，仅需 5 次演示即可学会识别并生成 2d 点集表达的 near、above、between 等概念。该模型还能跨领域迁移，将 2d 粒子环境中学到的概念用于解决 3d 物理机器人任务。