深度双重下降：模型规模增大时性能先升后降再升
OpenAI 研究表明，CNN、ResNet 和 Transformer 中都存在双重下降现象：随着模型规模、数据量或训练时长增加，性能先提升、后下降、再提升。仔细的正则化通常可以避免这一效应；该现象相当普遍，但成因尚未被完全理解，OpenAI 认为进一步研究是重要方向。
推荐理由：文章揭示了增大模型规模、数据量或训练时长时性能会先升后降再升，为理解过拟合与正则化提供了新的分析视角。
#数据/训练
#数据/训练
今日 0 条OpenAI News精选AI 评分6161
OpenAI NewsAI 评分3939 OpenAI 发布 Procgen Benchmark
OpenAI 发布 Procgen Benchmark，包含 16 个易用的程序化生成环境。该基准可直接衡量强化学习智能体学习可泛化技能的速度。
OpenAI NewsAI 评分5151 OpenAI 用人类偏好微调 GPT-2 语言模型
OpenAI 用人类反馈微调了 774M 参数的 GPT-2 语言模型，成功匹配外部人类标注员的偏好，但这些偏好并不总是与作者自己的偏好一致。摘要任务需要 60k 个人类标注，而各种风格的续写任务只需 5k 个；由于标注员偏好整句照抄输入，模型也学会了照抄。其动机是把安全技术推进到“机器与人类对话”这一通用任务上。
OpenAI NewsAI 评分3333 OpenAI：基于能量的模型的隐式生成与泛化方法
OpenAI 在基于能量的模型（EBM）的稳定、可扩展训练上取得进展，样本质量与泛化能力优于现有模型。EBM 生成时投入更多计算持续优化答案，低温下可产生与 GAN 竞争的样本，同时保留基于似然模型的模式覆盖保证。OpenAI 希望这些发现推动对这类模型的进一步研究。
OpenAI News精选AI 评分9090 OpenAI：更好的语言模型及其影响
OpenAI 训练了一个大规模无监督语言模型，能生成连贯的文本段落，并在多项语言建模基准上达到 SOTA。该模型无需任务专属训练，即可完成基础的阅读理解、机器翻译、问答和摘要。
推荐理由：原文记录了大规模无监督语言模型在无需任务专属训练时即可完成阅读理解、翻译、问答与摘要，可作为理解通用语言能力演进的背景。
OpenAI NewsAI 评分5151 OpenAI 发布 CoinRun 量化强化学习中的泛化能力
OpenAI 发布 CoinRun 训练环境，用于量化智能体将经验迁移到新情境的能力，并已帮助澄清强化学习中长期存在的一个难题。CoinRun 复杂度适中，比 Sonic the Hedgehog 等传统平台游戏更简单，但仍对当前最先进算法构成有价值的泛化挑战。
OpenAI NewsAI 评分5151 OpenAI 提出 RND：基于预测的好奇心探索方法
OpenAI 提出 Random Network Distillation（RND），一种基于预测的强化学习探索方法，通过好奇心鼓励智能体探索环境；该方法在 Montezuma’s Revenge 上首次超过人类平均水平。
OpenAI News精选AI 评分6565 OpenAI 用无监督学习改进语言理解
OpenAI 在一系列多样的语言任务上取得 SOTA 结果，所用系统可扩展且任务无关，并同时开源。该方法结合 Transformer 与无监督预训练，表明将监督学习方法与无监督预训练配合使用效果良好，OpenAI 希望该结果推动在更大、更多样数据集上应用这一思路的研究。
推荐理由：原文记录了 OpenAI 将 Transformer 与无监督预训练结合的验证，可据此理解该思路在语言任务上的效果。
OpenAI News精选AI 评分7171 OpenAI 分析称最大规模 AI 训练算力自 2012 年以来每 3.4 个月翻倍
OpenAI 发布分析称，自 2012 年以来最大规模 AI 训练运行使用的算力每 3.4 个月翻倍，同期累计增长超过 300,000 倍。相比之下，摩尔定律 2 年翻倍的周期只会带来约 7 倍增长。OpenAI 指出算力提升是 AI 进步的关键组成部分，呼吁为远超当前能力的系统做好准备。
推荐理由：原文用 3.4 个月翻倍、增长超 300,000 倍的算力曲线对比摩尔定律，为预判远超当前能力的系统提供了量化参照。
OpenAI NewsAI 评分3636 OpenAI 发布实验性元学习方法 Evolved Policy Gradients
OpenAI 发布实验性元学习方法 Evolved Policy Gradients（EPG），该方法通过演化学习智能体的损失函数，使其能够在全新任务上实现快速训练。经 EPG 训练的智能体在测试时可完成训练设定之外的基本任务，例如导航到房间另一侧的物体。
OpenAI NewsAI 评分3636 OpenAI 提出 Reptile：一种可扩展的元学习算法
OpenAI 提出 Reptile 元学习算法，通过反复采样任务、对该任务执行随机梯度下降，并将初始参数向该任务学到的最终参数更新。Reptile 将 Shortest Descent 算法应用于元学习，数学上类似一阶 MAML，只需 SGD 或 Adam 等优化器的黑箱访问，即可获得相近的计算效率与性能。
OpenAI NewsAI 评分4747 OpenAI 发布机器人学研究的基础要素
OpenAI 发布 8 个模拟机器人环境与 Hindsight Experience Replay 的 Baselines 实现，这些工具均开发于过去一年并用于其机器人学研究。这些环境已被用于训练可驱动实体机器人的模型。OpenAI 同时发布了一系列机器人学研究请求。
OpenAI NewsAI 评分3131 OpenAI：通过教学实现可解释的机器学习
OpenAI 设计了一种让 AI 互教的可解释机器学习方法，使教学示例同时对人类可理解。该方法会自动挑选最具信息量的示例教授概念，例如最能描述“狗”的图像。实验表明，这些示例能有效教会 AI。
OpenAI NewsAI 评分3838 OpenAI 发布面向块稀疏权重网络的 GPU kernel
OpenAI 发布了针对块稀疏权重网络的高度优化 GPU kernel，根据所选稀疏度，速度可比 cuBLAS 或 cuSPARSE 快多个数量级。这些 kernel 已用于文本情感分析以及文本和图像生成建模，并取得 SOTA 结果。
OpenAI NewsAI 评分4444 OpenAI：机器人控制从仿真泛化到物理世界
OpenAI 的最新机器人技术使完全在仿真中训练的控制器部署到物理机器人后，能在执行简单任务时应对环境的意外变化。这些控制器构成闭环系统，而非以往的开环系统。
OpenAI NewsAI 评分3232 OpenAI：用于模拟机器人摔跤的元学习
OpenAI 展示，在模拟机器人摔跤任务中，元学习智能体可学会快速击败更强的非元学习智能体。该元学习智能体还能适应物理故障。
OpenAI NewsAI 评分5555 OpenAI 进一步解读 Dota 2 自我对弈成果
OpenAI 表示其 Dota 2 系统在一个月内从勉强匹配高水平玩家提升到击败顶尖职业选手，自我对弈可在算力充足时把机器学习系统从远低于人类水平提升到超人类水平。监督式深度学习系统的上限取决于训练数据集，而自我对弈系统中的可用数据会随智能体变强而自动改善。
OpenAI News精选AI 评分6767 OpenAI 发布新强化学习算法 Proximal Policy Optimization（PPO）
OpenAI 发布新强化学习算法 Proximal Policy Optimization（PPO），性能与 SOTA 方法相当或更好，且实现和调参更简单。PPO 因易用性和良好性能已成为 OpenAI 的默认强化学习算法。
推荐理由：原文给出 PPO 与已有强化学习算法的性能对比和易用性说明，可帮助读者判断是否将其作为默认训练算法。
OpenAI News精选AI 评分7171 OpenAI 与 DeepMind 合作开发从人类偏好中学习的算法
OpenAI 与 DeepMind 安全团队合作开发了一种算法，通过让人类在两种行为之间做出选择来推断人类意图。其目标是为安全 AI 系统移除人工编写目标函数的需求，避免用简单代理替代复杂目标带来的危险行为。
推荐理由：原文介绍了与 DeepMind 安全团队合作的偏好学习算法，读者可据此理解用人类偏好替代手写目标函数这一对齐思路的早期形态。
OpenAI NewsAI 评分5353 OpenAI 提出无监督情感神经元
OpenAI 开发了一个无监督系统，它仅以预测 Amazon 评论文本的下一个字符为训练目标，就学习到了优秀的情感表示。
OpenAI News精选AI 评分6262 进化策略作为强化学习的可扩展替代方案
OpenAI 发现进化策略（ES）这一经典优化技术在 Atari/MuJoCo 等现代强化学习基准上可媲美标准强化学习方法，同时规避了强化学习的诸多不便。ES 是一种已存在数十年的优化技术，该研究表明其可作为强化学习的可扩展替代方案。
推荐理由：原文将进化策略与标准强化学习在 Atari/MuJoCo 基准上对比，读者可据此判断这一经典优化方法在扩展性上的优势。
OpenAI NewsAI 评分5252 OpenAI 与微软合作，将在 Azure 上运行大规模实验
OpenAI 宣布与微软合作，开始把大部分大规模实验放到 Azure 上运行。
OpenAI NewsAI 评分1414 深度学习的基础设施
OpenAI 指出，深度学习是一门实证科学，基础设施的质量是研究进展的乘数。如今的开源生态系统已经让任何人都能构建出色的深度学习基础设施。
OpenAI News精选AI 评分6868 OpenAI Gym 公开测试版发布
OpenAI 发布 OpenAI Gym 公开测试版，这是一个用于开发和比较强化学习（RL）算法的工具包。它包含一套不断增长的环境（从模拟机器人到 Atari 游戏），以及一个用于比较和复现结果的网站。
推荐理由：原文介绍了 OpenAI Gym 公开测试版的核心功能，它为强化学习算法提供了从模拟机器人到 Atari 游戏的标准化环境与结果比较平台。