GPT-4o 微调网络研讨会
OpenAI 举办 GPT-4o 微调网络研讨会。
#数据/训练
#数据/训练
今日 0 条OpenAI NewsAI 评分2525
OpenAI NewsAI 评分3131 OpenAI 改进一致性模型（Consistency Models）训练技术
OpenAI 提出改进一致性模型（Consistency Models）训练的技术。一致性模型是一类新兴生成模型，无需对抗训练即可一步采样高质量数据。
OpenAI NewsAI 评分3333 OpenAI 对数据与 AI 的处理方式
OpenAI 阐述了 AI 时代的数据处理方式，并为创作者和内容所有者推出新的 Media Manager。ChatGPT 发布刚过一年多，AI 正在改变人们的生活、工作与学习方式，OpenAI 同时分享了后续的发展方向。
OpenAI NewsAI 评分5555 OpenAI 改进微调 API 并扩展自定义模型计划
OpenAI 宣布改进微调 API 并扩展自定义模型计划，新增功能帮助开发者更好地控制微调，同时提供与 OpenAI 共建自定义模型的新方式。
OpenAI NewsAI 评分5353 OpenAI 数据合作伙伴计划：共同创建开源与私有 AI 训练数据集
OpenAI 推出数据合作伙伴计划，与合作伙伴共同创建开源和私有数据集，用于 AI 训练。
OpenAI NewsAI 评分4141 OpenAI 与 Scale 合作，为企业微调模型提供支持
OpenAI 与 Scale 达成合作，为企业微调模型提供支持。OpenAI 客户可借助 Scale 的 AI 专业知识，定制 OpenAI 最先进的模型。
OpenAI News精选AI 评分7171 OpenAI 发布 GPT-3.5 Turbo 微调与 API 更新
OpenAI 宣布开发者现在可引入自有数据微调 GPT-3.5 Turbo，以针对自身用例定制模型，该功能随本次 API 更新一并推出。
推荐理由：原文明确了开发者可使用自有数据微调 GPT-3.5 Turbo，读者可据此评估定制模型对自身业务场景的适用性。
OpenAI News精选AI 评分6767 OpenAI 用过程监督提升数学推理能力
OpenAI 通过奖励每个正确推理步骤（过程监督）而非仅奖励最终答案（结果监督）训练模型，在数学问题求解上达到新的 SOTA。过程监督还直接训练模型生成人类认可的链式推理，带来对齐收益。
推荐理由：文章对比了过程监督与结果监督两种训练方式，指出奖励每个正确的推理步骤不仅能提升数学性能，还能带来对齐收益。
OpenAI News精选AI 评分6767 ChatGPT 推出数据管理新方式
OpenAI 宣布 ChatGPT 用户现在可以关闭聊天记录，自行选择哪些对话可用于训练其模型。
推荐理由：原文说明了关闭聊天记录这一功能的具体定位，读者可据此判断它对个人数据隐私和模型训练数据控制的影响。
OpenAI NewsAI 评分3636 冰岛如何用 GPT-4 为未来保护其语言
冰岛正在使用 GPT-4 保护其语言，让这一语言为未来而留存。
OpenAI NewsAI 评分5959 OpenAI 高效训练语言模型以实现中间填充
OpenAI 发表研究，探讨如何高效训练语言模型使其具备中间填充（fill-in-the-middle）能力。
OpenAI NewsAI 评分2828 训练大型神经网络的技术
大型神经网络是近期 AI 进步的核心，但其训练是艰巨的工程与研究挑战，需要协调一个 GPU 集群来完成单一同步计算。
OpenAI NewsAI 评分4242 OpenAI：通过在精选数据集上训练改善语言模型行为
OpenAI 最新研究发现，通过在小型精选数据集上微调，可以改善语言模型在特定行为价值观方面的表现。
OpenAI News精选AI 评分6262 OpenAI 用 RLHF 训练更擅长摘要的语言模型
OpenAI 表示已将人类反馈强化学习（RLHF）应用于语言模型训练，使其在摘要任务上表现更好。
推荐理由：这篇材料给出了 RLHF 在摘要任务上的具体用法，可迁移到其他需要人类偏好对齐的文本生成场景。
OpenAI NewsAI 评分5959 OpenAI 发布 AI 效率分析：训练同等性能模型所需算力每 16 个月减半
OpenAI 发布分析称，自 2012 年以来在 ImageNet 分类任务上训练到同等性能所需的算力每 16 个月减少一半；训练到 AlexNet 水平所需算力仅为 2012 年的 1/44，而摩尔定律同期仅能带来 11 倍改善，表明算法进步带来的增益已超过经典硬件效率。原文：https://openai.com/index/ai-and-efficiency
OpenAI News精选AI 评分6161 深度双重下降：模型规模增大时性能先升后降再升
OpenAI 研究表明，CNN、ResNet 和 Transformer 中都存在双重下降现象：随着模型规模、数据量或训练时长增加，性能先提升、后下降、再提升。仔细的正则化通常可以避免这一效应；该现象相当普遍，但成因尚未被完全理解，OpenAI 认为进一步研究是重要方向。
推荐理由：文章揭示了增大模型规模、数据量或训练时长时性能会先升后降再升，为理解过拟合与正则化提供了新的分析视角。
OpenAI NewsAI 评分3939 OpenAI 发布 Procgen Benchmark
OpenAI 发布 Procgen Benchmark，包含 16 个易用的程序化生成环境。该基准可直接衡量强化学习智能体学习可泛化技能的速度。
OpenAI NewsAI 评分5151 OpenAI 用人类偏好微调 GPT-2 语言模型
OpenAI 用人类反馈微调了 774M 参数的 GPT-2 语言模型，成功匹配外部人类标注员的偏好，但这些偏好并不总是与作者自己的偏好一致。摘要任务需要 60k 个人类标注，而各种风格的续写任务只需 5k 个；由于标注员偏好整句照抄输入，模型也学会了照抄。其动机是把安全技术推进到“机器与人类对话”这一通用任务上。
OpenAI NewsAI 评分3333 OpenAI：基于能量的模型的隐式生成与泛化方法
OpenAI 在基于能量的模型（EBM）的稳定、可扩展训练上取得进展，样本质量与泛化能力优于现有模型。EBM 生成时投入更多计算持续优化答案，低温下可产生与 GAN 竞争的样本，同时保留基于似然模型的模式覆盖保证。OpenAI 希望这些发现推动对这类模型的进一步研究。
OpenAI News精选AI 评分9090 OpenAI：更好的语言模型及其影响
OpenAI 训练了一个大规模无监督语言模型，能生成连贯的文本段落，并在多项语言建模基准上达到 SOTA。该模型无需任务专属训练，即可完成基础的阅读理解、机器翻译、问答和摘要。
推荐理由：原文记录了大规模无监督语言模型在无需任务专属训练时即可完成阅读理解、翻译、问答与摘要，可作为理解通用语言能力演进的背景。
OpenAI NewsAI 评分5151 OpenAI 发布 CoinRun 量化强化学习中的泛化能力
OpenAI 发布 CoinRun 训练环境，用于量化智能体将经验迁移到新情境的能力，并已帮助澄清强化学习中长期存在的一个难题。CoinRun 复杂度适中，比 Sonic the Hedgehog 等传统平台游戏更简单，但仍对当前最先进算法构成有价值的泛化挑战。
OpenAI NewsAI 评分5151 OpenAI 提出 RND：基于预测的好奇心探索方法
OpenAI 提出 Random Network Distillation（RND），一种基于预测的强化学习探索方法，通过好奇心鼓励智能体探索环境；该方法在 Montezuma’s Revenge 上首次超过人类平均水平。
OpenAI News精选AI 评分6565 OpenAI 用无监督学习改进语言理解
OpenAI 在一系列多样的语言任务上取得 SOTA 结果，所用系统可扩展且任务无关，并同时开源。该方法结合 Transformer 与无监督预训练，表明将监督学习方法与无监督预训练配合使用效果良好，OpenAI 希望该结果推动在更大、更多样数据集上应用这一思路的研究。
推荐理由：原文记录了 OpenAI 将 Transformer 与无监督预训练结合的验证，可据此理解该思路在语言任务上的效果。
OpenAI News精选AI 评分7171 OpenAI 分析称最大规模 AI 训练算力自 2012 年以来每 3.4 个月翻倍
OpenAI 发布分析称，自 2012 年以来最大规模 AI 训练运行使用的算力每 3.4 个月翻倍，同期累计增长超过 300,000 倍。相比之下，摩尔定律 2 年翻倍的周期只会带来约 7 倍增长。OpenAI 指出算力提升是 AI 进步的关键组成部分，呼吁为远超当前能力的系统做好准备。
推荐理由：原文用 3.4 个月翻倍、增长超 300,000 倍的算力曲线对比摩尔定律，为预判远超当前能力的系统提供了量化参照。
OpenAI NewsAI 评分3636 OpenAI 发布实验性元学习方法 Evolved Policy Gradients
OpenAI 发布实验性元学习方法 Evolved Policy Gradients（EPG），该方法通过演化学习智能体的损失函数，使其能够在全新任务上实现快速训练。经 EPG 训练的智能体在测试时可完成训练设定之外的基本任务，例如导航到房间另一侧的物体。
OpenAI NewsAI 评分3636 OpenAI 提出 Reptile：一种可扩展的元学习算法
OpenAI 提出 Reptile 元学习算法，通过反复采样任务、对该任务执行随机梯度下降，并将初始参数向该任务学到的最终参数更新。Reptile 将 Shortest Descent 算法应用于元学习，数学上类似一阶 MAML，只需 SGD 或 Adam 等优化器的黑箱访问，即可获得相近的计算效率与性能。
OpenAI NewsAI 评分4747 OpenAI 发布机器人学研究的基础要素
OpenAI 发布 8 个模拟机器人环境与 Hindsight Experience Replay 的 Baselines 实现，这些工具均开发于过去一年并用于其机器人学研究。这些环境已被用于训练可驱动实体机器人的模型。OpenAI 同时发布了一系列机器人学研究请求。
OpenAI NewsAI 评分3131 OpenAI：通过教学实现可解释的机器学习
OpenAI 设计了一种让 AI 互教的可解释机器学习方法，使教学示例同时对人类可理解。该方法会自动挑选最具信息量的示例教授概念，例如最能描述“狗”的图像。实验表明，这些示例能有效教会 AI。
OpenAI NewsAI 评分3838 OpenAI 发布面向块稀疏权重网络的 GPU kernel
OpenAI 发布了针对块稀疏权重网络的高度优化 GPU kernel，根据所选稀疏度，速度可比 cuBLAS 或 cuSPARSE 快多个数量级。这些 kernel 已用于文本情感分析以及文本和图像生成建模，并取得 SOTA 结果。
OpenAI NewsAI 评分4444 OpenAI：机器人控制从仿真泛化到物理世界
OpenAI 的最新机器人技术使完全在仿真中训练的控制器部署到物理机器人后，能在执行简单任务时应对环境的意外变化。这些控制器构成闭环系统，而非以往的开环系统。
OpenAI NewsAI 评分3232 OpenAI：用于模拟机器人摔跤的元学习
OpenAI 展示，在模拟机器人摔跤任务中，元学习智能体可学会快速击败更强的非元学习智能体。该元学习智能体还能适应物理故障。
OpenAI NewsAI 评分5555 OpenAI 进一步解读 Dota 2 自我对弈成果
OpenAI 表示其 Dota 2 系统在一个月内从勉强匹配高水平玩家提升到击败顶尖职业选手，自我对弈可在算力充足时把机器学习系统从远低于人类水平提升到超人类水平。监督式深度学习系统的上限取决于训练数据集，而自我对弈系统中的可用数据会随智能体变强而自动改善。
OpenAI News精选AI 评分6767 OpenAI 发布新强化学习算法 Proximal Policy Optimization（PPO）
OpenAI 发布新强化学习算法 Proximal Policy Optimization（PPO），性能与 SOTA 方法相当或更好，且实现和调参更简单。PPO 因易用性和良好性能已成为 OpenAI 的默认强化学习算法。
推荐理由：原文给出 PPO 与已有强化学习算法的性能对比和易用性说明，可帮助读者判断是否将其作为默认训练算法。
OpenAI News精选AI 评分7171 OpenAI 与 DeepMind 合作开发从人类偏好中学习的算法
OpenAI 与 DeepMind 安全团队合作开发了一种算法，通过让人类在两种行为之间做出选择来推断人类意图。其目标是为安全 AI 系统移除人工编写目标函数的需求，避免用简单代理替代复杂目标带来的危险行为。
推荐理由：原文介绍了与 DeepMind 安全团队合作的偏好学习算法，读者可据此理解用人类偏好替代手写目标函数这一对齐思路的早期形态。
OpenAI NewsAI 评分5353 OpenAI 提出无监督情感神经元
OpenAI 开发了一个无监督系统，它仅以预测 Amazon 评论文本的下一个字符为训练目标，就学习到了优秀的情感表示。
OpenAI News精选AI 评分6262 进化策略作为强化学习的可扩展替代方案
OpenAI 发现进化策略（ES）这一经典优化技术在 Atari/MuJoCo 等现代强化学习基准上可媲美标准强化学习方法，同时规避了强化学习的诸多不便。ES 是一种已存在数十年的优化技术，该研究表明其可作为强化学习的可扩展替代方案。
推荐理由：原文将进化策略与标准强化学习在 Atari/MuJoCo 基准上对比，读者可据此判断这一经典优化方法在扩展性上的优势。
OpenAI NewsAI 评分5252 OpenAI 与微软合作，将在 Azure 上运行大规模实验
OpenAI 宣布与微软合作，开始把大部分大规模实验放到 Azure 上运行。
OpenAI NewsAI 评分1414 深度学习的基础设施
OpenAI 指出，深度学习是一门实证科学，基础设施的质量是研究进展的乘数。如今的开源生态系统已经让任何人都能构建出色的深度学习基础设施。
OpenAI News精选AI 评分6868 OpenAI Gym 公开测试版发布
OpenAI 发布 OpenAI Gym 公开测试版，这是一个用于开发和比较强化学习（RL）算法的工具包。它包含一套不断增长的环境（从模拟机器人到 Atari 游戏），以及一个用于比较和复现结果的网站。
推荐理由：原文介绍了 OpenAI Gym 公开测试版的核心功能，它为强化学习算法提供了从模拟机器人到 Atari 游戏的标准化环境与结果比较平台。