OpenAI 提出弱到强泛化研究方向
OpenAI 提出超对齐的新研究方向并给出初步结果，核心探讨能否利用深度学习的泛化特性，让弱监督者控制强模型。
推荐理由：OpenAI 提出超对齐新研究方向，探讨能否利用深度学习的泛化特性让弱监督者控制强模型，并给出初步结果。
论文研究
全部主题值得读的 AI 论文与研究成果：架构创新、训练方法、能力测量与理论进展的精选解读。
最新精选
第 41–57 条 · 共 57 条OpenAI News精选AI 评分6262
OpenAI News精选AI 评分8282 OpenAI GPT-4V(ision) 系统卡片
OpenAI 发布 GPT-4V(ision) 的系统卡片。
OpenAI News精选AI 评分6767 OpenAI 用过程监督提升数学推理能力
OpenAI 通过奖励每个正确推理步骤（过程监督）而非仅奖励最终答案（结果监督）训练模型，在数学问题求解上达到新的 SOTA。过程监督还直接训练模型生成人类认可的链式推理，带来对齐收益。
推荐理由：文章对比了过程监督与结果监督两种训练方式，指出奖励每个正确的推理步骤不仅能提升数学性能，还能带来对齐收益。
OpenAI News精选AI 评分7171 GPTs are GPTs：大语言模型对劳动力市场影响潜力的早期观察
OpenAI 发布题为《GPTs are GPTs》的研究，初步探讨大语言模型对劳动力市场的影响潜力。
推荐理由：这是 OpenAI 对大语言模型劳动力市场影响潜力的早期研究，为理解 AI 如何改变工作内容提供了背景参考。
OpenAI News精选AI 评分6464 OpenAI 用 Video PreTraining 训练神经网络玩 Minecraft
OpenAI 通过 Video PreTraining (VPT) 在大量无标注人类 Minecraft 游戏视频上预训练神经网络，仅使用少量标注数据。微调后模型可制作钻石工具，这一任务熟练人类通常需要 20 分钟以上（24,000 次操作）。模型使用原生人类键鼠界面，OpenAI 称其是迈向通用电脑操作智能体的一步。
推荐理由：OpenAI 用少量标注数据加大量无标注视频预训练，让模型学会 Minecraft 中的钻石工具制作，为通用电脑操作智能体提供可迁移方法。
OpenAI News精选AI 评分6363 WebGPT：通过网页浏览提升语言模型的事实准确性
OpenAI 通过文本网页浏览器微调 GPT-3，使其能更准确地回答开放式问题。该研究探索了让语言模型借助网页浏览提升事实准确性的方法。
推荐理由：原文介绍了用文本浏览器微调 GPT-3 以提升事实准确性的方法，为语言模型结合外部信息检索提供了参考。
OpenAI News精选AI 评分6262 OpenAI 用 RLHF 训练更擅长摘要的语言模型
OpenAI 表示已将人类反馈强化学习（RLHF）应用于语言模型训练，使其在摘要任务上表现更好。
推荐理由：这篇材料给出了 RLHF 在摘要任务上的具体用法，可迁移到其他需要人类偏好对齐的文本生成场景。
OpenAI News精选AI 评分6161 深度双重下降：模型规模增大时性能先升后降再升
OpenAI 研究表明，CNN、ResNet 和 Transformer 中都存在双重下降现象：随着模型规模、数据量或训练时长增加，性能先提升、后下降、再提升。仔细的正则化通常可以避免这一效应；该现象相当普遍，但成因尚未被完全理解，OpenAI 认为进一步研究是重要方向。
推荐理由：文章揭示了增大模型规模、数据量或训练时长时性能会先升后降再升，为理解过拟合与正则化提供了新的分析视角。
OpenAI News精选AI 评分6262 OpenAI 用类人机器人手解魔方
OpenAI 训练了一对神经网络，让类人机器人手解魔方。网络完全在模拟环境中训练，使用与 OpenAI Five 相同的强化学习代码，并配合新技术 Automatic Domain Randomization (ADR)。系统能应对训练中未见过的情形，例如被长颈鹿毛绒玩具戳碰，表明强化学习也能解决需要前所未有灵活性的物理世界问题。
推荐理由：原文给出了模拟训练加 Automatic Domain Randomization 的方法路径，可迁移到其他需要物理灵活性的机器人任务。
OpenAI News精选AI 评分6262 多智能体交互中涌现的工具使用
OpenAI 观察到智能体在简单的捉迷藏游戏中逐步发现更复杂的工具使用方式，并在新的模拟捉迷藏环境中形成六种不同的策略与反策略，其中一些是研究者此前不知道该环境支持的。这种自监督涌现的复杂性进一步表明，多智能体协同适应未来可能产生极其复杂和智能的行为。
推荐理由：智能体在简单的捉迷藏环境中通过自监督训练涌现出六种策略与反策略，为多智能体协同演化产生复杂行为提供了可参照的路径。
OpenAI News精选AI 评分6565 OpenAI 训练类人机器人手，以空前灵巧度操作实物
OpenAI 训练了一只类人机器人手，能够以空前的灵巧度操作实物。
OpenAI News精选AI 评分6565 OpenAI 用无监督学习改进语言理解
OpenAI 在一系列多样的语言任务上取得 SOTA 结果，所用系统可扩展且任务无关，并同时开源。该方法结合 Transformer 与无监督预训练，表明将监督学习方法与无监督预训练配合使用效果良好，OpenAI 希望该结果推动在更大、更多样数据集上应用这一思路的研究。
推荐理由：原文记录了 OpenAI 将 Transformer 与无监督预训练结合的验证，可据此理解该思路在语言任务上的效果。
OpenAI News精选AI 评分7777 OpenAI 的 Dota 2 bot 在 1v1 标准锦标赛规则下击败世界顶级职业选手
OpenAI 创建的 bot 在标准锦标赛规则的 Dota 2 1v1 比赛中击败世界顶级职业选手。该 bot 完全通过自我对弈从零学习，未使用模仿学习或树搜索。OpenAI 称这是朝向在涉及真实人类的复杂混乱情境中完成明确目标的 AI 系统迈出的一步。
推荐理由：该 bot 仅靠自我对弈从零学会 Dota 2，未使用模仿学习或树搜索，可作为复杂环境下目标导向 AI 系统的参考路径。
OpenAI News精选AI 评分6767 OpenAI 发布新强化学习算法 Proximal Policy Optimization（PPO）
OpenAI 发布新强化学习算法 Proximal Policy Optimization（PPO），性能与 SOTA 方法相当或更好，且实现和调参更简单。PPO 因易用性和良好性能已成为 OpenAI 的默认强化学习算法。
推荐理由：原文给出 PPO 与已有强化学习算法的性能对比和易用性说明，可帮助读者判断是否将其作为默认训练算法。
OpenAI News精选AI 评分7171 OpenAI 与 DeepMind 合作开发从人类偏好中学习的算法
OpenAI 与 DeepMind 安全团队合作开发了一种算法，通过让人类在两种行为之间做出选择来推断人类意图。其目标是为安全 AI 系统移除人工编写目标函数的需求，避免用简单代理替代复杂目标带来的危险行为。
推荐理由：原文介绍了与 DeepMind 安全团队合作的偏好学习算法，读者可据此理解用人类偏好替代手写目标函数这一对齐思路的早期形态。
OpenAI News精选AI 评分6060 OpenAI：会学习的机器人
OpenAI 打造了一套完全在仿真中训练并部署到实体机器人上的机器人系统，只需看一次演示就能学会新任务。
推荐理由：该系统先在仿真中完成训练再部署到实体机器人，为具身智能的仿真到现实迁移提供了可参照的路径。
OpenAI News精选AI 评分6262 进化策略作为强化学习的可扩展替代方案
OpenAI 发现进化策略（ES）这一经典优化技术在 Atari/MuJoCo 等现代强化学习基准上可媲美标准强化学习方法，同时规避了强化学习的诸多不便。ES 是一种已存在数十年的优化技术，该研究表明其可作为强化学习的可扩展替代方案。
推荐理由：原文将进化策略与标准强化学习在 Atari/MuJoCo 基准上对比，读者可据此判断这一经典优化方法在扩展性上的优势。