OpenAI 研究：用 GPT-4 自动解释语言模型中的神经元
OpenAI 用 GPT-4 自动为大型语言模型中神经元的行为编写解释并打分，并发布了覆盖 GPT-2 全部神经元的解释与评分数据集。这些解释并不完美，数据集可用于可解释性研究。
全部AI 动态
全部动态
今日 0 条OpenAI NewsAI 评分5555
OpenAI News精选AI 评分7171 GPTs are GPTs：大语言模型对劳动力市场影响潜力的早期观察
OpenAI 发布题为《GPTs are GPTs》的研究，初步探讨大语言模型对劳动力市场的影响潜力。
推荐理由：这是 OpenAI 对大语言模型劳动力市场影响潜力的早期研究，为理解 AI 如何改变工作内容提供了背景参考。
OpenAI NewsAI 评分4949 OpenAI 预测大语言模型被滥用于虚假信息活动的风险及如何降低风险
OpenAI 研究人员与乔治城大学安全与新兴技术中心、斯坦福互联网观察站合作，调查大语言模型被滥用于虚假信息活动的风险。合作包括 2021 年 10 月一场汇聚 30 名虚假信息研究人员、机器学习专家和政策分析师的研讨会，最终形成基于一年多研究的联合报告。报告概述了语言模型若被用于增强虚假信息活动将对信息环境造成的威胁，并提出了一个分析潜在缓解措施的框架。
OpenAI NewsAI 评分5959 OpenAI 高效训练语言模型以实现中间填充
OpenAI 发表研究，探讨如何高效训练语言模型使其具备中间填充（fill-in-the-middle）能力。
OpenAI News精选AI 评分6464 OpenAI 用 Video PreTraining 训练神经网络玩 Minecraft
OpenAI 通过 Video PreTraining (VPT) 在大量无标注人类 Minecraft 游戏视频上预训练神经网络，仅使用少量标注数据。微调后模型可制作钻石工具，这一任务熟练人类通常需要 20 分钟以上（24,000 次操作）。模型使用原生人类键鼠界面，OpenAI 称其是迈向通用电脑操作智能体的一步。
推荐理由：OpenAI 用少量标注数据加大量无标注视频预训练，让模型学会 Minecraft 中的钻石工具制作，为通用电脑操作智能体提供可迁移方法。
OpenAI NewsAI 评分5757 OpenAI 研究：AI 生成的批评可帮助人类发现摘要中的缺陷
OpenAI 训练了能描述摘要缺陷的批评写作模型，人类评估者在阅读模型批评后能更频繁地发现摘要缺陷。模型规模越大越擅长自我批评，且规模对批评写作的提升超过对摘要写作的提升，这为用 AI 辅助人类监督 AI 展示了前景。
OpenAI NewsAI 评分5454 基于 CLIP latents 的分层文本条件图像生成
OpenAI 官方博客发表研究《Hierarchical text-conditional image generation with CLIP latents》，主题为基于 CLIP latents 的分层文本条件图像生成。
OpenAI NewsAI 评分3030 OpenAI 大语言模型经济影响研究
OpenAI 正在征集研究意向，邀请各方参与研究大语言模型对经济的影响。
OpenAI NewsAI 评分5454 OpenAI 构建 Lean 神经定理证明器，解决部分形式化数学奥林匹克问题
OpenAI 构建了面向 Lean 的神经定理证明器，可求解多种高难度中学奥林匹克问题。该系统已能解决 AMC12 与 AIME 竞赛题，以及两道改编自 IMO 的题目。
OpenAI NewsAI 评分4242 OpenAI：通过在精选数据集上训练改善语言模型行为
OpenAI 最新研究发现，通过在小型精选数据集上微调，可以改善语言模型在特定行为价值观方面的表现。
OpenAI NewsAI 评分5252 OpenAI 发现人工神经网络中的多模态神经元
OpenAI 研究发现 CLIP 中存在多模态神经元，无论概念以字面、符号还是概念形式呈现，这些神经元都会做出相同反应。这可能解释了 CLIP 在分类概念的意外视觉呈现时的高准确率，也是理解 CLIP 及类似模型所学到的关联与偏见的重要一步。
OpenAI News精选AI 评分6262 OpenAI 用 RLHF 训练更擅长摘要的语言模型
OpenAI 表示已将人类反馈强化学习（RLHF）应用于语言模型训练，使其在摘要任务上表现更好。
推荐理由：这篇材料给出了 RLHF 在摘要任务上的具体用法，可迁移到其他需要人类偏好对齐的文本生成场景。
OpenAI NewsAI 评分5555 OpenAI Image GPT 研究发现同一 Transformer 架构可生成连贯图像
OpenAI 研究发现，与在语言上训练的大型 Transformer 相同的模型在像素序列上训练后，可以生成连贯的图像补全与样本。研究还建立了样本质量与图像分类准确率之间的相关性，其最佳生成模型在无监督设置下的特征可与顶级卷积神经网络竞争。
OpenAI NewsAI 评分5959 OpenAI 发布 AI 效率分析：训练同等性能模型所需算力每 16 个月减半
OpenAI 发布分析称，自 2012 年以来在 ImageNet 分类任务上训练到同等性能所需的算力每 16 个月减少一半；训练到 AlexNet 水平所需算力仅为 2012 年的 1/44，而摩尔定律同期仅能带来 11 倍改善，表明算法进步带来的增益已超过经典硬件效率。原文：https://openai.com/index/ai-and-efficiency
OpenAI NewsAI 评分3838 OpenAI 参与多方报告，提升 AI 开发中的可验证性
OpenAI 参与了一份由 30 个组织的 58 位共同作者完成的多方报告，提出 10 项机制以提升 AI 系统相关声明的可验证性。开发者可利用这些工具提供证据，证明其 AI 系统具备安全性、可靠性、公平性或隐私保护能力。用户、政策制定者及民间社会也能借此评估 AI 开发流程。
OpenAI News精选AI 评分6161 深度双重下降：模型规模增大时性能先升后降再升
OpenAI 研究表明，CNN、ResNet 和 Transformer 中都存在双重下降现象：随着模型规模、数据量或训练时长增加，性能先提升、后下降、再提升。仔细的正则化通常可以避免这一效应；该现象相当普遍，但成因尚未被完全理解，OpenAI 认为进一步研究是重要方向。
推荐理由：文章揭示了增大模型规模、数据量或训练时长时性能会先升后降再升，为理解过拟合与正则化提供了新的分析视角。
OpenAI NewsAI 评分3939 OpenAI 发布 Procgen Benchmark
OpenAI 发布 Procgen Benchmark，包含 16 个易用的程序化生成环境。该基准可直接衡量强化学习智能体学习可泛化技能的速度。
OpenAI NewsAI 评分5151 OpenAI 用人类偏好微调 GPT-2 语言模型
OpenAI 用人类反馈微调了 774M 参数的 GPT-2 语言模型，成功匹配外部人类标注员的偏好，但这些偏好并不总是与作者自己的偏好一致。摘要任务需要 60k 个人类标注，而各种风格的续写任务只需 5k 个；由于标注员偏好整句照抄输入，模型也学会了照抄。其动机是把安全技术推进到“机器与人类对话”这一通用任务上。
OpenAI News精选AI 评分6262 多智能体交互中涌现的工具使用
OpenAI 观察到智能体在简单的捉迷藏游戏中逐步发现更复杂的工具使用方式，并在新的模拟捉迷藏环境中形成六种不同的策略与反策略，其中一些是研究者此前不知道该环境支持的。这种自监督涌现的复杂性进一步表明，多智能体协同适应未来可能产生极其复杂和智能的行为。
推荐理由：智能体在简单的捉迷藏环境中通过自监督训练涌现出六种策略与反策略，为多智能体协同演化产生复杂行为提供了可参照的路径。
OpenAI NewsAI 评分2828 OpenAI：为什么负责任的 AI 开发需要安全合作
OpenAI 发布一份政策研究论文，提出四项可立即用于促进 AI 行业在安全规范上长期合作的策略。这些策略包括沟通风险与收益、技术合作、提高透明度和激励标准。论文指出竞争压力可能引发集体行动问题，导致 AI 公司在安全上投资不足，加强合作将确保 AI 系统安全且有益。
OpenAI NewsAI 评分3333 OpenAI：基于能量的模型的隐式生成与泛化方法
OpenAI 在基于能量的模型（EBM）的稳定、可扩展训练上取得进展，样本质量与泛化能力优于现有模型。EBM 生成时投入更多计算持续优化答案，低温下可产生与 GAN 竞争的样本，同时保留基于似然模型的模式覆盖保证。OpenAI 希望这些发现推动对这类模型的进一步研究。
OpenAI NewsAI 评分5050 OpenAI 与 Google 研究者合作发布 Activation Atlases 可视化技术
OpenAI 与 Google 研究者合作创建了 Activation Atlases，这是一种用于可视化神经元交互所代表内容的新技术。更好地理解 AI 系统的内部决策过程，将有助于发现其弱点并调查失效原因。
OpenAI NewsAI 评分4343 Neural MMO：面向强化学习智能体的大规模多智能体游戏环境
OpenAI 发布 Neural MMO，这是一个面向强化学习智能体的大规模多智能体游戏环境。该平台支持在持久、开放式任务中运行大量且数量可变的智能体。引入多智能体与多物种后，可带来更好的探索、差异化生态位形成和更高的整体能力。
OpenAI NewsAI 评分3939 OpenAI：AI 安全需要社会科学家
OpenAI 发表论文，论证长期 AI 安全研究需要社会科学家参与，以确保 AI 对齐算法在真实人类参与时能够成功。论文指出，将高级 AI 系统与人类价值观正确对齐，需要解决与人类理性、情感和偏见的心理学相关的诸多不确定性。OpenAI 计划全职聘请社会科学家参与这项工作，并希望借此推动机器学习与社会科学研究者的进一步合作。
OpenAI NewsAI 评分5151 OpenAI 发布 CoinRun 量化强化学习中的泛化能力
OpenAI 发布 CoinRun 训练环境，用于量化智能体将经验迁移到新情境的能力，并已帮助澄清强化学习中长期存在的一个难题。CoinRun 复杂度适中，比 Sonic the Hedgehog 等传统平台游戏更简单，但仍对当前最先进算法构成有价值的泛化挑战。
OpenAI NewsAI 评分4545 OpenAI 用能量函数快速学习概念
OpenAI 开发了一种基于能量函数的模型，仅需 5 次演示即可学会识别并生成 2d 点集表达的 near、above、between 等概念。该模型还能跨领域迁移，将 2d 粒子环境中学到的概念用于解决 3d 物理机器人任务。
OpenAI NewsAI 评分5151 OpenAI 提出 RND：基于预测的好奇心探索方法
OpenAI 提出 Random Network Distillation（RND），一种基于预测的强化学习探索方法，通过好奇心鼓励智能体探索环境；该方法在 Montezuma’s Revenge 上首次超过人类平均水平。
OpenAI NewsAI 评分4545 OpenAI 提出迭代放大（iterated amplification）：学习超越人类规模的复杂目标
OpenAI 提出 AI 安全技术 iterated amplification，通过将任务分解为更简单的子任务来指定超越人类规模的复杂行为与目标，而无需提供标注数据或奖励函数。该想法仍处于极早期，目前仅在简单玩具算法领域完成实验，但 OpenAI 认为它有望成为可扩展的 AI 安全方案。
OpenAI News精选AI 评分6565 OpenAI 训练类人机器人手，以空前灵巧度操作实物
OpenAI 训练了一只类人机器人手，能够以空前的灵巧度操作实物。
OpenAI NewsAI 评分5858 OpenAI 智能体从单次人类演示学会 Montezuma's Revenge 并拿到 74,500 分
OpenAI 训练智能体仅凭单次人类演示在 Montezuma's Revenge 中得到 74,500 分，优于此前任何已公开结果。做法是让智能体从演示中精心挑选的状态开始连续游戏，并用 PPO 优化游戏分数，PPO 也是 OpenAI Five 所使用的基础强化学习算法。
OpenAI NewsAI 评分3131 OpenAI 首届 Retro Contest 结果公布
OpenAI 首届 Retro Contest 已结束，赛事聚焦能从既往经验泛化的算法开发。比赛结果现已公布。
OpenAI NewsAI 评分4141 OpenAI 提出基于辩论的 AI 安全技术
OpenAI 提出一种基于辩论的 AI 安全技术，通过训练 AI 智能体就特定话题相互展开辩论，并由人类担任裁判决定胜负。该技术旨在利用这种辩论机制来提升 AI 系统的安全性。
OpenAI NewsAI 评分3636 OpenAI 发布实验性元学习方法 Evolved Policy Gradients
OpenAI 发布实验性元学习方法 Evolved Policy Gradients（EPG），该方法通过演化学习智能体的损失函数，使其能够在全新任务上实现快速训练。经 EPG 训练的智能体在测试时可完成训练设定之外的基本任务，例如导航到房间另一侧的物体。
OpenAI NewsAI 评分4141 OpenAI 发起 Retro Contest 迁移学习竞赛
OpenAI 发起 Retro Contest 迁移学习竞赛，衡量强化学习算法从既往经验中泛化的能力。该竞赛聚焦迁移学习，检验算法能否有效利用过往经验。
OpenAI NewsAI 评分3636 OpenAI 提出 Reptile：一种可扩展的元学习算法
OpenAI 提出 Reptile 元学习算法，通过反复采样任务、对该任务执行随机梯度下降，并将初始参数向该任务学到的最终参数更新。Reptile 将 Shortest Descent 算法应用于元学习，数学上类似一阶 MAML，只需 SGD 或 Adam 等优化器的黑箱访问，即可获得相近的计算效率与性能。
OpenAI NewsAI 评分4747 OpenAI 发布机器人学研究的基础要素
OpenAI 发布 8 个模拟机器人环境与 Hindsight Experience Replay 的 Baselines 实现，这些工具均开发于过去一年并用于其机器人学研究。这些环境已被用于训练可驱动实体机器人的模型。OpenAI 同时发布了一系列机器人学研究请求。
OpenAI NewsAI 评分4747 OpenAI 准备应对 AI 的恶意使用
OpenAI 与多家机构联合发表一篇论文，预测恶意行为者可能如何滥用 AI 技术，并提出预防和缓解这些威胁的潜在方法。
OpenAI NewsAI 评分3131 OpenAI：通过教学实现可解释的机器学习
OpenAI 设计了一种让 AI 互教的可解释机器学习方法，使教学示例同时对人类可理解。该方法会自动挑选最具信息量的示例教授概念，例如最能描述“狗”的图像。实验表明，这些示例能有效教会 AI。
OpenAI NewsAI 评分2828 OpenAI 发现用于实体消歧的类型
OpenAI 构建了一个可自动判断词语所指代对象的实体消歧系统。该系统利用神经网络判断词语是否属于约 100 个自动发现的“类型”（非排他性类别）。
OpenAI NewsAI 评分4040 OpenAI 发布 Requests for Research 2.0
OpenAI 发布 Requests for Research 2.0，公开 7 个在 OpenAI 研究过程中出现的未解决问题。