详解 Kimi K3：强到冲击 Anthropic 估值的模型什么样？
本期《晚点聊》邀请 RadixArk 创始成员赵晨阳与华盛顿大学博士生曾致远，从推理与算法两条线拆解 Kimi K3。节目解读了 K3 的 3T 开放权重、KDA＋MLA 混合注意力与智能体训练环境，并讨论它在美国 AI 界和投资市场引发的关注及相关的开源大辩论。
推荐理由：两位嘉宾从算法与推理系统两条线拆解 K3 的混合注意力、MoE 与训练细节，帮助理解开源模型究竟开放了什么、保留了什么。
数据与训练
全部主题训练侧的门道：数据集构建、合成数据、预训练与后训练方法、算力与训练成本。
最新精选
第 21–37 条 · 共 37 条晚点聊 LateTalk精选AI 评分7373
OpenAI News精选AI 评分7777 OpenAI 内部数据智能体详解
OpenAI 介绍了其自研的内部数据智能体，该智能体结合 GPT-5、Codex 与记忆能力，可对海量数据集进行推理。它能在数分钟内输出可靠洞察，服务于 OpenAI 内部的数据分析需求。
推荐理由：文章说明 OpenAI 如何以 GPT-5、Codex 与记忆能力构建内部数据智能体，可作为企业自建数据分析 Agent 的参考路径。
Google DeepMind精选AI 评分7575 Google DeepMind 发布 WeatherNext 2 最先进天气预报模型
Google DeepMind 与 Google Research 发布天气预报模型 WeatherNext 2，预报速度提升 8 倍、分辨率精细到 1 小时，在 99.9% 的变量和 0-15 天预报时效上超越上一代 WeatherNext 模型。
推荐理由：原文给出 WeatherNext 2 相比上一代在 99.9% 的变量与预报时效上提升，并开放 Earth Engine、BigQuery 与 Vertex AI 早期访问，可据此判断气象数据的获取与使用方式变化。
OpenAI News精选AI 评分6363 OpenAI 为 fine-tuning API 引入视觉能力
OpenAI 宣布为 fine-tuning API 引入视觉能力，开发者现在可使用图像和文本微调 GPT-4o，以提升视觉能力。
推荐理由：官方把 GPT-4o 微调开放到图像与文本混合数据，开发者可针对视觉任务定制模型并直接通过 API 调用。
OpenAI News精选AI 评分7474 OpenAI API 推出模型蒸馏功能
OpenAI 宣布 API 支持模型蒸馏，用户可用前沿大模型的输出微调高性价比模型，全部流程在 OpenAI 平台完成。
推荐理由：宣布 OpenAI API 支持模型蒸馏，用户可用大模型输出微调低成本模型，为降低调用成本提供官方路径。
OpenAI News精选AI 评分7171 OpenAI 发布 GPT-3.5 Turbo 微调与 API 更新
OpenAI 宣布开发者现在可引入自有数据微调 GPT-3.5 Turbo，以针对自身用例定制模型，该功能随本次 API 更新一并推出。
推荐理由：原文明确了开发者可使用自有数据微调 GPT-3.5 Turbo，读者可据此评估定制模型对自身业务场景的适用性。
OpenAI News精选AI 评分6767 OpenAI 用过程监督提升数学推理能力
OpenAI 通过奖励每个正确推理步骤（过程监督）而非仅奖励最终答案（结果监督）训练模型，在数学问题求解上达到新的 SOTA。过程监督还直接训练模型生成人类认可的链式推理，带来对齐收益。
推荐理由：文章对比了过程监督与结果监督两种训练方式，指出奖励每个正确的推理步骤不仅能提升数学性能，还能带来对齐收益。
OpenAI News精选AI 评分6767 ChatGPT 推出数据管理新方式
OpenAI 宣布 ChatGPT 用户现在可以关闭聊天记录，自行选择哪些对话可用于训练其模型。
推荐理由：原文说明了关闭聊天记录这一功能的具体定位，读者可据此判断它对个人数据隐私和模型训练数据控制的影响。
OpenAI News精选AI 评分6262 OpenAI 用 RLHF 训练更擅长摘要的语言模型
OpenAI 表示已将人类反馈强化学习（RLHF）应用于语言模型训练，使其在摘要任务上表现更好。
推荐理由：这篇材料给出了 RLHF 在摘要任务上的具体用法，可迁移到其他需要人类偏好对齐的文本生成场景。
OpenAI News精选AI 评分6161 深度双重下降：模型规模增大时性能先升后降再升
OpenAI 研究表明，CNN、ResNet 和 Transformer 中都存在双重下降现象：随着模型规模、数据量或训练时长增加，性能先提升、后下降、再提升。仔细的正则化通常可以避免这一效应；该现象相当普遍，但成因尚未被完全理解，OpenAI 认为进一步研究是重要方向。
推荐理由：文章揭示了增大模型规模、数据量或训练时长时性能会先升后降再升，为理解过拟合与正则化提供了新的分析视角。
OpenAI News精选AI 评分9090 OpenAI：更好的语言模型及其影响
OpenAI 训练了一个大规模无监督语言模型，能生成连贯的文本段落，并在多项语言建模基准上达到 SOTA。该模型无需任务专属训练，即可完成基础的阅读理解、机器翻译、问答和摘要。
推荐理由：原文记录了大规模无监督语言模型在无需任务专属训练时即可完成阅读理解、翻译、问答与摘要，可作为理解通用语言能力演进的背景。
OpenAI News精选AI 评分6565 OpenAI 用无监督学习改进语言理解
OpenAI 在一系列多样的语言任务上取得 SOTA 结果，所用系统可扩展且任务无关，并同时开源。该方法结合 Transformer 与无监督预训练，表明将监督学习方法与无监督预训练配合使用效果良好，OpenAI 希望该结果推动在更大、更多样数据集上应用这一思路的研究。
推荐理由：原文记录了 OpenAI 将 Transformer 与无监督预训练结合的验证，可据此理解该思路在语言任务上的效果。
OpenAI News精选AI 评分7171 OpenAI 分析称最大规模 AI 训练算力自 2012 年以来每 3.4 个月翻倍
OpenAI 发布分析称，自 2012 年以来最大规模 AI 训练运行使用的算力每 3.4 个月翻倍，同期累计增长超过 300,000 倍。相比之下，摩尔定律 2 年翻倍的周期只会带来约 7 倍增长。OpenAI 指出算力提升是 AI 进步的关键组成部分，呼吁为远超当前能力的系统做好准备。
推荐理由：原文用 3.4 个月翻倍、增长超 300,000 倍的算力曲线对比摩尔定律，为预判远超当前能力的系统提供了量化参照。
OpenAI News精选AI 评分6767 OpenAI 发布新强化学习算法 Proximal Policy Optimization（PPO）
OpenAI 发布新强化学习算法 Proximal Policy Optimization（PPO），性能与 SOTA 方法相当或更好，且实现和调参更简单。PPO 因易用性和良好性能已成为 OpenAI 的默认强化学习算法。
推荐理由：原文给出 PPO 与已有强化学习算法的性能对比和易用性说明，可帮助读者判断是否将其作为默认训练算法。
OpenAI News精选AI 评分7171 OpenAI 与 DeepMind 合作开发从人类偏好中学习的算法
OpenAI 与 DeepMind 安全团队合作开发了一种算法，通过让人类在两种行为之间做出选择来推断人类意图。其目标是为安全 AI 系统移除人工编写目标函数的需求，避免用简单代理替代复杂目标带来的危险行为。
推荐理由：原文介绍了与 DeepMind 安全团队合作的偏好学习算法，读者可据此理解用人类偏好替代手写目标函数这一对齐思路的早期形态。
OpenAI News精选AI 评分6262 进化策略作为强化学习的可扩展替代方案
OpenAI 发现进化策略（ES）这一经典优化技术在 Atari/MuJoCo 等现代强化学习基准上可媲美标准强化学习方法，同时规避了强化学习的诸多不便。ES 是一种已存在数十年的优化技术，该研究表明其可作为强化学习的可扩展替代方案。
推荐理由：原文将进化策略与标准强化学习在 Atari/MuJoCo 基准上对比，读者可据此判断这一经典优化方法在扩展性上的优势。
OpenAI News精选AI 评分6868 OpenAI Gym 公开测试版发布
OpenAI 发布 OpenAI Gym 公开测试版，这是一个用于开发和比较强化学习（RL）算法的工具包。它包含一套不断增长的环境（从模拟机器人到 Atari 游戏），以及一个用于比较和复现结果的网站。
推荐理由：原文介绍了 OpenAI Gym 公开测试版的核心功能，它为强化学习算法提供了从模拟机器人到 Atari 游戏的标准化环境与结果比较平台。