OpenAI：通过在精选数据集上训练改善语言模型行为
OpenAI 最新研究发现，通过在小型精选数据集上微调，可以改善语言模型在特定行为价值观方面的表现。
#论文/研究
#论文/研究
今日 0 条OpenAI NewsAI 评分4242
OpenAI NewsAI 评分5252 OpenAI 发现人工神经网络中的多模态神经元
OpenAI 研究发现 CLIP 中存在多模态神经元，无论概念以字面、符号还是概念形式呈现，这些神经元都会做出相同反应。这可能解释了 CLIP 在分类概念的意外视觉呈现时的高准确率，也是理解 CLIP 及类似模型所学到的关联与偏见的重要一步。
OpenAI News精选AI 评分6262 OpenAI 用 RLHF 训练更擅长摘要的语言模型
OpenAI 表示已将人类反馈强化学习（RLHF）应用于语言模型训练，使其在摘要任务上表现更好。
推荐理由：这篇材料给出了 RLHF 在摘要任务上的具体用法，可迁移到其他需要人类偏好对齐的文本生成场景。
OpenAI NewsAI 评分5555 OpenAI Image GPT 研究发现同一 Transformer 架构可生成连贯图像
OpenAI 研究发现，与在语言上训练的大型 Transformer 相同的模型在像素序列上训练后，可以生成连贯的图像补全与样本。研究还建立了样本质量与图像分类准确率之间的相关性，其最佳生成模型在无监督设置下的特征可与顶级卷积神经网络竞争。
OpenAI NewsAI 评分5959 OpenAI 发布 AI 效率分析：训练同等性能模型所需算力每 16 个月减半
OpenAI 发布分析称，自 2012 年以来在 ImageNet 分类任务上训练到同等性能所需的算力每 16 个月减少一半；训练到 AlexNet 水平所需算力仅为 2012 年的 1/44，而摩尔定律同期仅能带来 11 倍改善，表明算法进步带来的增益已超过经典硬件效率。原文：https://openai.com/index/ai-and-efficiency
OpenAI NewsAI 评分3838 OpenAI 参与多方报告，提升 AI 开发中的可验证性
OpenAI 参与了一份由 30 个组织的 58 位共同作者完成的多方报告，提出 10 项机制以提升 AI 系统相关声明的可验证性。开发者可利用这些工具提供证据，证明其 AI 系统具备安全性、可靠性、公平性或隐私保护能力。用户、政策制定者及民间社会也能借此评估 AI 开发流程。
OpenAI News精选AI 评分6161 深度双重下降：模型规模增大时性能先升后降再升
OpenAI 研究表明，CNN、ResNet 和 Transformer 中都存在双重下降现象：随着模型规模、数据量或训练时长增加，性能先提升、后下降、再提升。仔细的正则化通常可以避免这一效应；该现象相当普遍，但成因尚未被完全理解，OpenAI 认为进一步研究是重要方向。
推荐理由：文章揭示了增大模型规模、数据量或训练时长时性能会先升后降再升，为理解过拟合与正则化提供了新的分析视角。
OpenAI NewsAI 评分3939 OpenAI 发布 Procgen Benchmark
OpenAI 发布 Procgen Benchmark，包含 16 个易用的程序化生成环境。该基准可直接衡量强化学习智能体学习可泛化技能的速度。
OpenAI News精选AI 评分6262 OpenAI 用类人机器人手解魔方
OpenAI 训练了一对神经网络，让类人机器人手解魔方。网络完全在模拟环境中训练，使用与 OpenAI Five 相同的强化学习代码，并配合新技术 Automatic Domain Randomization (ADR)。系统能应对训练中未见过的情形，例如被长颈鹿毛绒玩具戳碰，表明强化学习也能解决需要前所未有灵活性的物理世界问题。
推荐理由：原文给出了模拟训练加 Automatic Domain Randomization 的方法路径，可迁移到其他需要物理灵活性的机器人任务。
OpenAI NewsAI 评分5151 OpenAI 用人类偏好微调 GPT-2 语言模型
OpenAI 用人类反馈微调了 774M 参数的 GPT-2 语言模型，成功匹配外部人类标注员的偏好，但这些偏好并不总是与作者自己的偏好一致。摘要任务需要 60k 个人类标注，而各种风格的续写任务只需 5k 个；由于标注员偏好整句照抄输入，模型也学会了照抄。其动机是把安全技术推进到“机器与人类对话”这一通用任务上。
OpenAI News精选AI 评分6262 多智能体交互中涌现的工具使用
OpenAI 观察到智能体在简单的捉迷藏游戏中逐步发现更复杂的工具使用方式，并在新的模拟捉迷藏环境中形成六种不同的策略与反策略，其中一些是研究者此前不知道该环境支持的。这种自监督涌现的复杂性进一步表明，多智能体协同适应未来可能产生极其复杂和智能的行为。
推荐理由：智能体在简单的捉迷藏环境中通过自监督训练涌现出六种策略与反策略，为多智能体协同演化产生复杂行为提供了可参照的路径。
OpenAI NewsAI 评分2828 OpenAI：为什么负责任的 AI 开发需要安全合作
OpenAI 发布一份政策研究论文，提出四项可立即用于促进 AI 行业在安全规范上长期合作的策略。这些策略包括沟通风险与收益、技术合作、提高透明度和激励标准。论文指出竞争压力可能引发集体行动问题，导致 AI 公司在安全上投资不足，加强合作将确保 AI 系统安全且有益。
OpenAI NewsAI 评分5151 用 Sparse Transformer 进行生成式建模
OpenAI 提出 Sparse Transformer，一种在预测文本、图像或声音序列下一内容上创下新纪录的深度神经网络。它通过注意力机制的算法改进，可从比以往长 30 倍的序列中提取模式。
OpenAI NewsAI 评分3333 OpenAI：基于能量的模型的隐式生成与泛化方法
OpenAI 在基于能量的模型（EBM）的稳定、可扩展训练上取得进展，样本质量与泛化能力优于现有模型。EBM 生成时投入更多计算持续优化答案，低温下可产生与 GAN 竞争的样本，同时保留基于似然模型的模式覆盖保证。OpenAI 希望这些发现推动对这类模型的进一步研究。
OpenAI NewsAI 评分5050 OpenAI 与 Google 研究者合作发布 Activation Atlases 可视化技术
OpenAI 与 Google 研究者合作创建了 Activation Atlases，这是一种用于可视化神经元交互所代表内容的新技术。更好地理解 AI 系统的内部决策过程，将有助于发现其弱点并调查失效原因。
OpenAI NewsAI 评分4343 Neural MMO：面向强化学习智能体的大规模多智能体游戏环境
OpenAI 发布 Neural MMO，这是一个面向强化学习智能体的大规模多智能体游戏环境。该平台支持在持久、开放式任务中运行大量且数量可变的智能体。引入多智能体与多物种后，可带来更好的探索、差异化生态位形成和更高的整体能力。
OpenAI NewsAI 评分5151 OpenAI 发布 CoinRun 量化强化学习中的泛化能力
OpenAI 发布 CoinRun 训练环境，用于量化智能体将经验迁移到新情境的能力，并已帮助澄清强化学习中长期存在的一个难题。CoinRun 复杂度适中，比 Sonic the Hedgehog 等传统平台游戏更简单，但仍对当前最先进算法构成有价值的泛化挑战。
OpenAI NewsAI 评分4545 OpenAI 用能量函数快速学习概念
OpenAI 开发了一种基于能量函数的模型，仅需 5 次演示即可学会识别并生成 2d 点集表达的 near、above、between 等概念。该模型还能跨领域迁移，将 2d 粒子环境中学到的概念用于解决 3d 物理机器人任务。
OpenAI NewsAI 评分5151 OpenAI 提出 RND：基于预测的好奇心探索方法
OpenAI 提出 Random Network Distillation（RND），一种基于预测的强化学习探索方法，通过好奇心鼓励智能体探索环境；该方法在 Montezuma’s Revenge 上首次超过人类平均水平。
OpenAI NewsAI 评分4545 OpenAI 提出迭代放大（iterated amplification）：学习超越人类规模的复杂目标
OpenAI 提出 AI 安全技术 iterated amplification，通过将任务分解为更简单的子任务来指定超越人类规模的复杂行为与目标，而无需提供标注数据或奖励函数。该想法仍处于极早期，目前仅在简单玩具算法领域完成实验，但 OpenAI 认为它有望成为可扩展的 AI 安全方案。
OpenAI News精选AI 评分6565 OpenAI 训练类人机器人手，以空前灵巧度操作实物
OpenAI 训练了一只类人机器人手，能够以空前的灵巧度操作实物。
OpenAI NewsAI 评分5858 OpenAI 智能体从单次人类演示学会 Montezuma's Revenge 并拿到 74,500 分
OpenAI 训练智能体仅凭单次人类演示在 Montezuma's Revenge 中得到 74,500 分，优于此前任何已公开结果。做法是让智能体从演示中精心挑选的状态开始连续游戏，并用 PPO 优化游戏分数，PPO 也是 OpenAI Five 所使用的基础强化学习算法。
OpenAI News精选AI 评分6565 OpenAI 用无监督学习改进语言理解
OpenAI 在一系列多样的语言任务上取得 SOTA 结果，所用系统可扩展且任务无关，并同时开源。该方法结合 Transformer 与无监督预训练，表明将监督学习方法与无监督预训练配合使用效果良好，OpenAI 希望该结果推动在更大、更多样数据集上应用这一思路的研究。
推荐理由：原文记录了 OpenAI 将 Transformer 与无监督预训练结合的验证，可据此理解该思路在语言任务上的效果。
OpenAI NewsAI 评分4141 OpenAI 提出基于辩论的 AI 安全技术
OpenAI 提出一种基于辩论的 AI 安全技术，通过训练 AI 智能体就特定话题相互展开辩论，并由人类担任裁判决定胜负。该技术旨在利用这种辩论机制来提升 AI 系统的安全性。
OpenAI NewsAI 评分3636 OpenAI 发布实验性元学习方法 Evolved Policy Gradients
OpenAI 发布实验性元学习方法 Evolved Policy Gradients（EPG），该方法通过演化学习智能体的损失函数，使其能够在全新任务上实现快速训练。经 EPG 训练的智能体在测试时可完成训练设定之外的基本任务，例如导航到房间另一侧的物体。
OpenAI NewsAI 评分3636 OpenAI 提出 Reptile：一种可扩展的元学习算法
OpenAI 提出 Reptile 元学习算法，通过反复采样任务、对该任务执行随机梯度下降，并将初始参数向该任务学到的最终参数更新。Reptile 将 Shortest Descent 算法应用于元学习，数学上类似一阶 MAML，只需 SGD 或 Adam 等优化器的黑箱访问，即可获得相近的计算效率与性能。
OpenAI NewsAI 评分4747 OpenAI 发布机器人学研究的基础要素
OpenAI 发布 8 个模拟机器人环境与 Hindsight Experience Replay 的 Baselines 实现，这些工具均开发于过去一年并用于其机器人学研究。这些环境已被用于训练可驱动实体机器人的模型。OpenAI 同时发布了一系列机器人学研究请求。
OpenAI NewsAI 评分3131 OpenAI：通过教学实现可解释的机器学习
OpenAI 设计了一种让 AI 互教的可解释机器学习方法，使教学示例同时对人类可理解。该方法会自动挑选最具信息量的示例教授概念，例如最能描述“狗”的图像。实验表明，这些示例能有效教会 AI。
OpenAI NewsAI 评分2828 OpenAI 发现用于实体消歧的类型
OpenAI 构建了一个可自动判断词语所指代对象的实体消歧系统。该系统利用神经网络判断词语是否属于约 100 个自动发现的“类型”（非排他性类别）。
OpenAI NewsAI 评分4040 OpenAI 发布 Requests for Research 2.0
OpenAI 发布 Requests for Research 2.0，公开 7 个在 OpenAI 研究过程中出现的未解决问题。
OpenAI NewsAI 评分3030 OpenAI 开发分层强化学习算法，学习可用于多种任务的高层动作
OpenAI 开发了一种分层强化学习算法，能学习可用于解决多种任务的高层动作，从而快速完成需要数千个 timestep 的任务。将该算法应用于一组导航问题时，它发现了朝不同方向行走和爬行的高层动作，使智能体能够快速掌握新的导航任务。
OpenAI NewsAI 评分3232 OpenAI：用于模拟机器人摔跤的元学习
OpenAI 展示，在模拟机器人摔跤任务中，元学习智能体可学会快速击败更强的非元学习智能体。该元学习智能体还能适应物理故障。
OpenAI NewsAI 评分4040 OpenAI：竞争性自我博弈让模拟 AI 自主发现物理技能
OpenAI 发现竞争性自我博弈（self-play）能让模拟 AI 在无需刻意设计环境的情况下，自主发现抢断、躲避、假动作、踢球、接球和扑球等物理技能。自我博弈可确保环境难度始终适合 AI 不断提升。结合 Dota 2 的自我博弈结果，OpenAI 越来越确信自我博弈将成为未来强大 AI 系统的核心组成部分。
OpenAI NewsAI 评分5353 OpenAI 提出 LOLA 算法，学习建模其他智能体
OpenAI 发布 LOLA（Learning with Opponent-Learning Awareness）算法，该算法在训练中会把其他智能体也在学习这一事实纳入考虑。在重复囚徒困境中，LOLA 能发现以牙还牙（tit-for-tat）这类既利己又协作的策略，是迈向能建模其他心智的智能体的一小步。
OpenAI News精选AI 评分7777 OpenAI 的 Dota 2 bot 在 1v1 标准锦标赛规则下击败世界顶级职业选手
OpenAI 创建的 bot 在标准锦标赛规则的 Dota 2 1v1 比赛中击败世界顶级职业选手。该 bot 完全通过自我对弈从零学习，未使用模仿学习或树搜索。OpenAI 称这是朝向在涉及真实人类的复杂混乱情境中完成明确目标的 AI 系统迈出的一步。
推荐理由：该 bot 仅靠自我对弈从零学会 Dota 2，未使用模仿学习或树搜索，可作为复杂环境下目标导向 AI 系统的参考路径。
OpenAI NewsAI 评分4444 OpenAI：用参数噪声实现更好的探索
OpenAI 发现，向强化学习算法的参数添加自适应噪声通常能提升性能。这种探索方法实现简单，且极少导致性能下降，值得在各类问题上尝试。
OpenAI News精选AI 评分6767 OpenAI 发布新强化学习算法 Proximal Policy Optimization（PPO）
OpenAI 发布新强化学习算法 Proximal Policy Optimization（PPO），性能与 SOTA 方法相当或更好，且实现和调参更简单。PPO 因易用性和良好性能已成为 OpenAI 的默认强化学习算法。
推荐理由：原文给出 PPO 与已有强化学习算法的性能对比和易用性说明，可帮助读者判断是否将其作为默认训练算法。
OpenAI NewsAI 评分3838 OpenAI 发布稳健的对抗样本，可跨尺度与视角欺骗神经网络分类器
OpenAI 创造了稳健的对抗样本图像，即使从不同尺度和视角查看，也能可靠地欺骗神经网络分类器。这直接挑战了上周关于自动驾驶汽车因从多个尺度、角度和视角捕获图像而难以被恶意欺骗的说法。
OpenAI News精选AI 评分7171 OpenAI 与 DeepMind 合作开发从人类偏好中学习的算法
OpenAI 与 DeepMind 安全团队合作开发了一种算法，通过让人类在两种行为之间做出选择来推断人类意图。其目标是为安全 AI 系统移除人工编写目标函数的需求，避免用简单代理替代复杂目标带来的危险行为。
推荐理由：原文介绍了与 DeepMind 安全团队合作的偏好学习算法，读者可据此理解用人类偏好替代手写目标函数这一对齐思路的早期形态。
OpenAI NewsAI 评分2323 OpenAI：学习合作、竞争与交流
OpenAI 指出，智能体争夺资源的多智能体环境是通向 AGI 的垫脚石。这类环境有两大特质：难度由竞争者技能决定的自然课程（与自身克隆对抗时环境恰好匹配自身水平），以及不存在稳定均衡——无论智能体多聪明，总有变得更聪明的压力。这类环境与传统环境差异很大，仍需大量研究才能驾驭。