OpenAI Five 开始在 Dota 2 中击败业余人类战队
OpenAI 官方宣布，由五个神经网络组成的 OpenAI Five 已开始在 Dota 2 中击败业余人类战队。
推荐理由：原文由官方直接交代 OpenAI Five 的规模与对战结果，可作为了解游戏 AI 进展的一手背景。
#OpenAI
#OpenAI
今日 0 条OpenAI News精选AI 评分7878
OpenAI NewsAI 评分3131 OpenAI 首届 Retro Contest 结果公布
OpenAI 首届 Retro Contest 已结束，赛事聚焦能从既往经验泛化的算法开发。比赛结果现已公布。
OpenAI News精选AI 评分6565 OpenAI 用无监督学习改进语言理解
OpenAI 在一系列多样的语言任务上取得 SOTA 结果，所用系统可扩展且任务无关，并同时开源。该方法结合 Transformer 与无监督预训练，表明将监督学习方法与无监督预训练配合使用效果良好，OpenAI 希望该结果推动在更大、更多样数据集上应用这一思路的研究。
推荐理由：原文记录了 OpenAI 将 Transformer 与无监督预训练结合的验证，可据此理解该思路在语言任务上的效果。
OpenAI NewsAI 评分3131 OpenAI Fellows 2018 秋季计划
OpenAI 正在接受下一期 OpenAI Fellows 的申请，该计划提供在 OpenAI 进行为期 6 个月、带薪的 AI 研究学徒机会。
OpenAI NewsAI 评分5555 OpenAI 发布 Gym Retro 完整版，游戏强化学习平台扩展至 1000 多款游戏
OpenAI 发布 Gym Retro 完整版，这是一个面向游戏强化学习研究的平台，支持游戏从约 70 款 Atari 与 30 款 Sega 扩展到 1000 多款。OpenAI 同时开放了用于向平台添加新游戏的工具。
OpenAI News精选AI 评分7171 OpenAI 分析称最大规模 AI 训练算力自 2012 年以来每 3.4 个月翻倍
OpenAI 发布分析称，自 2012 年以来最大规模 AI 训练运行使用的算力每 3.4 个月翻倍，同期累计增长超过 300,000 倍。相比之下，摩尔定律 2 年翻倍的周期只会带来约 7 倍增长。OpenAI 指出算力提升是 AI 进步的关键组成部分，呼吁为远超当前能力的系统做好准备。
推荐理由：原文用 3.4 个月翻倍、增长超 300,000 倍的算力曲线对比摩尔定律，为预判远超当前能力的系统提供了量化参照。
OpenAI NewsAI 评分4141 OpenAI 提出基于辩论的 AI 安全技术
OpenAI 提出一种基于辩论的 AI 安全技术，通过训练 AI 智能体就特定话题相互展开辩论，并由人类担任裁判决定胜负。该技术旨在利用这种辩论机制来提升 AI 系统的安全性。
OpenAI NewsAI 评分3636 OpenAI 发布实验性元学习方法 Evolved Policy Gradients
OpenAI 发布实验性元学习方法 Evolved Policy Gradients（EPG），该方法通过演化学习智能体的损失函数，使其能够在全新任务上实现快速训练。经 EPG 训练的智能体在测试时可完成训练设定之外的基本任务，例如导航到房间另一侧的物体。
OpenAI NewsAI 评分4141 OpenAI 发起 Retro Contest 迁移学习竞赛
OpenAI 发起 Retro Contest 迁移学习竞赛，衡量强化学习算法从既往经验中泛化的能力。该竞赛聚焦迁移学习，检验算法能否有效利用过往经验。
OpenAI NewsAI 评分1717 OpenAI 黑客马拉松回顾
3月3日，OpenAI 举办了首届黑客马拉松，100 名人工智能社区成员参与其中。
OpenAI NewsAI 评分3636 OpenAI 提出 Reptile：一种可扩展的元学习算法
OpenAI 提出 Reptile 元学习算法，通过反复采样任务、对该任务执行随机梯度下降，并将初始参数向该任务学到的最终参数更新。Reptile 将 Shortest Descent 算法应用于元学习，数学上类似一阶 MAML，只需 SGD 或 Adam 等优化器的黑箱访问，即可获得相近的计算效率与性能。
OpenAI NewsAI 评分3737 OpenAI Scholars 计划
OpenAI Scholars 计划为来自代表性不足群体的个人提供 6–10 个津贴名额与导师指导，支持其用 3 个月时间全职学习深度学习，并开源一个项目。
OpenAI NewsAI 评分4747 OpenAI 发布机器人学研究的基础要素
OpenAI 发布 8 个模拟机器人环境与 Hindsight Experience Replay 的 Baselines 实现，这些工具均开发于过去一年并用于其机器人学研究。这些环境已被用于训练可驱动实体机器人的模型。OpenAI 同时发布了一系列机器人学研究请求。
OpenAI NewsAI 评分2828 OpenAI 黑客松
OpenAI 将于 3 月 3 日（周六）在旧金山 Mission 区办公室举办黑客松活动。活动包含技术演讲与黑客松开发环节，参与者可前往 OpenAI 办公室现场参加。
OpenAI NewsAI 评分4747 OpenAI 准备应对 AI 的恶意使用
OpenAI 与多家机构联合发表一篇论文，预测恶意行为者可能如何滥用 AI 技术，并提出预防和缓解这些威胁的潜在方法。
OpenAI NewsAI 评分2424 OpenAI 迎来新捐赠者
OpenAI 宣布欢迎新的捐赠者加入。
OpenAI NewsAI 评分3131 OpenAI：通过教学实现可解释的机器学习
OpenAI 设计了一种让 AI 互教的可解释机器学习方法，使教学示例同时对人类可理解。该方法会自动挑选最具信息量的示例教授概念，例如最能描述“狗”的图像。实验表明，这些示例能有效教会 AI。
OpenAI NewsAI 评分2828 OpenAI 发现用于实体消歧的类型
OpenAI 构建了一个可自动判断词语所指代对象的实体消歧系统。该系统利用神经网络判断词语是否属于约 100 个自动发现的“类型”（非排他性类别）。
OpenAI NewsAI 评分4040 OpenAI 发布 Requests for Research 2.0
OpenAI 发布 Requests for Research 2.0，公开 7 个在 OpenAI 研究过程中出现的未解决问题。
OpenAI NewsAI 评分3838 OpenAI 发布面向块稀疏权重网络的 GPU kernel
OpenAI 发布了针对块稀疏权重网络的高度优化 GPU kernel，根据所选稀疏度，速度可比 cuBLAS 或 cuSPARSE 快多个数量级。这些 kernel 已用于文本情感分析以及文本和图像生成建模，并取得 SOTA 结果。
OpenAI NewsAI 评分3030 OpenAI 开发分层强化学习算法，学习可用于多种任务的高层动作
OpenAI 开发了一种分层强化学习算法，能学习可用于解决多种任务的高层动作，从而快速完成需要数千个 timestep 的任务。将该算法应用于一组导航问题时，它发现了朝不同方向行走和爬行的高层动作，使智能体能够快速掌握新的导航任务。
OpenAI NewsAI 评分4444 OpenAI：机器人控制从仿真泛化到物理世界
OpenAI 的最新机器人技术使完全在仿真中训练的控制器部署到物理机器人后，能在执行简单任务时应对环境的意外变化。这些控制器构成闭环系统，而非以往的开环系统。
OpenAI NewsAI 评分3232 OpenAI：用于模拟机器人摔跤的元学习
OpenAI 展示，在模拟机器人摔跤任务中，元学习智能体可学会快速击败更强的非元学习智能体。该元学习智能体还能适应物理故障。
OpenAI NewsAI 评分4040 OpenAI：竞争性自我博弈让模拟 AI 自主发现物理技能
OpenAI 发现竞争性自我博弈（self-play）能让模拟 AI 在无需刻意设计环境的情况下，自主发现抢断、躲避、假动作、踢球、接球和扑球等物理技能。自我博弈可确保环境难度始终适合 AI 不断提升。结合 Dota 2 的自我博弈结果，OpenAI 越来越确信自我博弈将成为未来强大 AI 系统的核心组成部分。
OpenAI NewsAI 评分5353 OpenAI 提出 LOLA 算法，学习建模其他智能体
OpenAI 发布 LOLA（Learning with Opponent-Learning Awareness）算法，该算法在训练中会把其他智能体也在学习这一事实纳入考虑。在重复囚徒困境中，LOLA 能发现以牙还牙（tit-for-tat）这类既利己又协作的策略，是迈向能建模其他心智的智能体的一小步。
OpenAI NewsAI 评分4646 OpenAI Baselines 发布 ACKTR 与 A2C
OpenAI 发布了两个新的 OpenAI Baselines 实现：ACKTR 和 A2C。A2C 是 A3C 的同步确定性变体，性能与 A3C 相当。ACKTR 比 TRPO 和 A2C 更具样本效率，每次更新的计算开销仅略高于 A2C。
OpenAI NewsAI 评分5555 OpenAI 进一步解读 Dota 2 自我对弈成果
OpenAI 表示其 Dota 2 系统在一个月内从勉强匹配高水平玩家提升到击败顶尖职业选手，自我对弈可在算力充足时把机器学习系统从远低于人类水平提升到超人类水平。监督式深度学习系统的上限取决于训练数据集，而自我对弈系统中的可用数据会随智能体变强而自动改善。
OpenAI News精选AI 评分7777 OpenAI 的 Dota 2 bot 在 1v1 标准锦标赛规则下击败世界顶级职业选手
OpenAI 创建的 bot 在标准锦标赛规则的 Dota 2 1v1 比赛中击败世界顶级职业选手。该 bot 完全通过自我对弈从零学习，未使用模仿学习或树搜索。OpenAI 称这是朝向在涉及真实人类的复杂混乱情境中完成明确目标的 AI 系统迈出的一步。
推荐理由：该 bot 仅靠自我对弈从零学会 Dota 2，未使用模仿学习或树搜索，可作为复杂环境下目标导向 AI 系统的参考路径。
OpenAI NewsAI 评分4444 OpenAI：用参数噪声实现更好的探索
OpenAI 发现，向强化学习算法的参数添加自适应噪声通常能提升性能。这种探索方法实现简单，且极少导致性能下降，值得在各类问题上尝试。
OpenAI News精选AI 评分6767 OpenAI 发布新强化学习算法 Proximal Policy Optimization（PPO）
OpenAI 发布新强化学习算法 Proximal Policy Optimization（PPO），性能与 SOTA 方法相当或更好，且实现和调参更简单。PPO 因易用性和良好性能已成为 OpenAI 的默认强化学习算法。
推荐理由：原文给出 PPO 与已有强化学习算法的性能对比和易用性说明，可帮助读者判断是否将其作为默认训练算法。
OpenAI NewsAI 评分3838 OpenAI 发布稳健的对抗样本，可跨尺度与视角欺骗神经网络分类器
OpenAI 创造了稳健的对抗样本图像，即使从不同尺度和视角查看，也能可靠地欺骗神经网络分类器。这直接挑战了上周关于自动驾驶汽车因从多个尺度、角度和视角捕获图像而难以被恶意欺骗的说法。
OpenAI NewsAI 评分4949 OpenAI 开源基于 MuJoCo 引擎的机器人模拟 Python 库
OpenAI 开源了一款基于 MuJoCo 引擎的高性能机器人模拟 Python 库。该库是 OpenAI 在过去一年的机器人学研究中开发而成的。
OpenAI News精选AI 评分7171 OpenAI 与 DeepMind 合作开发从人类偏好中学习的算法
OpenAI 与 DeepMind 安全团队合作开发了一种算法，通过让人类在两种行为之间做出选择来推断人类意图。其目标是为安全 AI 系统移除人工编写目标函数的需求，避免用简单代理替代复杂目标带来的危险行为。
推荐理由：原文介绍了与 DeepMind 安全团队合作的偏好学习算法，读者可据此理解用人类偏好替代手写目标函数这一对齐思路的早期形态。
OpenAI NewsAI 评分2323 OpenAI：学习合作、竞争与交流
OpenAI 指出，智能体争夺资源的多智能体环境是通向 AGI 的垫脚石。这类环境有两大特质：难度由竞争者技能决定的自然课程（与自身克隆对抗时环境恰好匹配自身水平），以及不存在稳定均衡——无论智能体多聪明，总有变得更聪明的压力。这类环境与传统环境差异很大，仍需大量研究才能驾驭。
OpenAI NewsAI 评分5656 OpenAI Baselines 开源，首发 DQN 及三个变体
OpenAI 开源 OpenAI Baselines，这是其复现强化学习算法的内部项目，目标是让实现性能达到已发表结果的水平。本次发布包含 DQN 及其三个变体，更多算法将在未来几个月陆续发布。
OpenAI News精选AI 评分6060 OpenAI：会学习的机器人
OpenAI 打造了一套完全在仿真中训练并部署到实体机器人上的机器人系统，只需看一次演示就能学会新任务。
推荐理由：该系统先在仿真中完成训练再部署到实体机器人，为具身智能的仿真到现实迁移提供了可参照的路径。
OpenAI NewsAI 评分5151 OpenAI 发布开源机器人仿真软件 Roboschool
OpenAI 发布开源机器人仿真软件 Roboschool，该软件与 OpenAI Gym 集成。
OpenAI NewsAI 评分5353 OpenAI 提出无监督情感神经元
OpenAI 开发了一个无监督系统，它仅以预测 Amazon 评论文本的下一个字符为训练目标，就学习到了优秀的情感表示。
OpenAI NewsAI 评分1515 OpenAI 在物理世界中实现 Spam 检测
OpenAI 打造了全球首个完全在模拟环境中训练、并部署于实体机器人上的 Spam 检测 AI。
OpenAI News精选AI 评分6262 进化策略作为强化学习的可扩展替代方案
OpenAI 发现进化策略（ES）这一经典优化技术在 Atari/MuJoCo 等现代强化学习基准上可媲美标准强化学习方法，同时规避了强化学习的诸多不便。ES 是一种已存在数十年的优化技术，该研究表明其可作为强化学习的可扩展替代方案。
推荐理由：原文将进化策略与标准强化学习在 Atari/MuJoCo 基准上对比，读者可据此判断这一经典优化方法在扩展性上的优势。