OpenAI 开发分层强化学习算法，学习可用于多种任务的高层动作
OpenAI 开发了一种分层强化学习算法，能学习可用于解决多种任务的高层动作，从而快速完成需要数千个 timestep 的任务。将该算法应用于一组导航问题时，它发现了朝不同方向行走和爬行的高层动作，使智能体能够快速掌握新的导航任务。
#论文/研究
#论文/研究
今日 0 条OpenAI NewsAI 评分3030
OpenAI NewsAI 评分3232 OpenAI：用于模拟机器人摔跤的元学习
OpenAI 展示，在模拟机器人摔跤任务中，元学习智能体可学会快速击败更强的非元学习智能体。该元学习智能体还能适应物理故障。
OpenAI NewsAI 评分4040 OpenAI：竞争性自我博弈让模拟 AI 自主发现物理技能
OpenAI 发现竞争性自我博弈（self-play）能让模拟 AI 在无需刻意设计环境的情况下，自主发现抢断、躲避、假动作、踢球、接球和扑球等物理技能。自我博弈可确保环境难度始终适合 AI 不断提升。结合 Dota 2 的自我博弈结果，OpenAI 越来越确信自我博弈将成为未来强大 AI 系统的核心组成部分。
OpenAI NewsAI 评分5353 OpenAI 提出 LOLA 算法，学习建模其他智能体
OpenAI 发布 LOLA（Learning with Opponent-Learning Awareness）算法，该算法在训练中会把其他智能体也在学习这一事实纳入考虑。在重复囚徒困境中，LOLA 能发现以牙还牙（tit-for-tat）这类既利己又协作的策略，是迈向能建模其他心智的智能体的一小步。
OpenAI News精选AI 评分7777 OpenAI 的 Dota 2 bot 在 1v1 标准锦标赛规则下击败世界顶级职业选手
OpenAI 创建的 bot 在标准锦标赛规则的 Dota 2 1v1 比赛中击败世界顶级职业选手。该 bot 完全通过自我对弈从零学习，未使用模仿学习或树搜索。OpenAI 称这是朝向在涉及真实人类的复杂混乱情境中完成明确目标的 AI 系统迈出的一步。
推荐理由：该 bot 仅靠自我对弈从零学会 Dota 2，未使用模仿学习或树搜索，可作为复杂环境下目标导向 AI 系统的参考路径。
OpenAI NewsAI 评分4444 OpenAI：用参数噪声实现更好的探索
OpenAI 发现，向强化学习算法的参数添加自适应噪声通常能提升性能。这种探索方法实现简单，且极少导致性能下降，值得在各类问题上尝试。
OpenAI News精选AI 评分6767 OpenAI 发布新强化学习算法 Proximal Policy Optimization（PPO）
OpenAI 发布新强化学习算法 Proximal Policy Optimization（PPO），性能与 SOTA 方法相当或更好，且实现和调参更简单。PPO 因易用性和良好性能已成为 OpenAI 的默认强化学习算法。
推荐理由：原文给出 PPO 与已有强化学习算法的性能对比和易用性说明，可帮助读者判断是否将其作为默认训练算法。
OpenAI NewsAI 评分3838 OpenAI 发布稳健的对抗样本，可跨尺度与视角欺骗神经网络分类器
OpenAI 创造了稳健的对抗样本图像，即使从不同尺度和视角查看，也能可靠地欺骗神经网络分类器。这直接挑战了上周关于自动驾驶汽车因从多个尺度、角度和视角捕获图像而难以被恶意欺骗的说法。
OpenAI News精选AI 评分7171 OpenAI 与 DeepMind 合作开发从人类偏好中学习的算法
OpenAI 与 DeepMind 安全团队合作开发了一种算法，通过让人类在两种行为之间做出选择来推断人类意图。其目标是为安全 AI 系统移除人工编写目标函数的需求，避免用简单代理替代复杂目标带来的危险行为。
推荐理由：原文介绍了与 DeepMind 安全团队合作的偏好学习算法，读者可据此理解用人类偏好替代手写目标函数这一对齐思路的早期形态。
OpenAI NewsAI 评分2323 OpenAI：学习合作、竞争与交流
OpenAI 指出，智能体争夺资源的多智能体环境是通向 AGI 的垫脚石。这类环境有两大特质：难度由竞争者技能决定的自然课程（与自身克隆对抗时环境恰好匹配自身水平），以及不存在稳定均衡——无论智能体多聪明，总有变得更聪明的压力。这类环境与传统环境差异很大，仍需大量研究才能驾驭。
OpenAI News精选AI 评分6060 OpenAI：会学习的机器人
OpenAI 打造了一套完全在仿真中训练并部署到实体机器人上的机器人系统，只需看一次演示就能学会新任务。
推荐理由：该系统先在仿真中完成训练再部署到实体机器人，为具身智能的仿真到现实迁移提供了可参照的路径。
OpenAI NewsAI 评分5353 OpenAI 提出无监督情感神经元
OpenAI 开发了一个无监督系统，它仅以预测 Amazon 评论文本的下一个字符为训练目标，就学习到了优秀的情感表示。
OpenAI NewsAI 评分1515 OpenAI 在物理世界中实现 Spam 检测
OpenAI 打造了全球首个完全在模拟环境中训练、并部署于实体机器人上的 Spam 检测 AI。
OpenAI News精选AI 评分6262 进化策略作为强化学习的可扩展替代方案
OpenAI 发现进化策略（ES）这一经典优化技术在 Atari/MuJoCo 等现代强化学习基准上可媲美标准强化学习方法，同时规避了强化学习的诸多不便。ES 是一种已存在数十年的优化技术，该研究表明其可作为强化学习的可扩展替代方案。
推荐理由：原文将进化策略与标准强化学习在 Atari/MuJoCo 基准上对比，读者可据此判断这一经典优化方法在扩展性上的优势。
OpenAI NewsAI 评分4242 OpenAI 支持机器学习期刊 Distill 发布
OpenAI 宣布支持全新机器学习期刊 Distill 的发布。Distill 旨在以出色的方式传达机器学习研究成果，无论这些结果是新颖的还是已有的。
OpenAI NewsAI 评分5151 OpenAI 参与 Google Brain 主导的 AI 安全论文《Concrete Problems in AI Safety》
OpenAI 与 Google Brain、Berkeley、Stanford 的研究人员共同参与论文《Concrete Problems in AI Safety》，探讨如何确保现代机器学习系统按预期运行。论文围绕这一目标梳理了多个相关研究问题。
OpenAI NewsAI 评分3333 OpenAI 介绍四个生成式模型项目
OpenAI 介绍了四个围绕生成式模型展开的项目，生成式模型是机器学习中无监督学习技术的一个分支。文章还进一步说明了生成式模型是什么、为什么重要以及未来可能的发展方向。