42章经对话 Evolvent AI 联创:从蒸馏到合成数据到 RSI,模型竞争的下一个焦点
42章经对话 Evolvent AI 联创繁青,聊蒸馏、合成数据与 RSI 背后模型竞争的下一阶段焦点。
推荐理由:受访者结合一线造数据经验,讲清了蒸馏、合成数据与 RSI 之间的关系,可帮助判断模型竞争的下一阶段焦点。
42章经对话 Evolvent AI 联创繁青,聊蒸馏、合成数据与 RSI 背后模型竞争的下一阶段焦点。
推荐理由:受访者结合一线造数据经验,讲清了蒸馏、合成数据与 RSI 之间的关系,可帮助判断模型竞争的下一阶段焦点。
Microsoft Research 提出 CARE-X:一个用于胸部 X 光多任务临床解读的统一 VLM,通过生成式与双推理模式同时输出自由文本推理和确定性预测。
《晚点聊》主播曼祺采访 Recursive SuperIntelligence 联创田渊栋,聊递归自进化(RSI)在今年回热的原因与进展。田渊栋参与创立的 RSI 公司估值超 46 亿美元,其 6 月初释放的首批成果在小规模上验证了 AI 系统可以自动化地提升性能、提升效率并改进 Infra。他提出另一种可能性:智能提升或许是阶梯式跳跃而非平滑向上,率先达成 RSI 的公司未必能把其他人越甩越远。
本期《晚点聊》邀请 RadixArk 创始成员赵晨阳与华盛顿大学博士生曾致远,从推理与算法两条线拆解 Kimi K3。节目解读了 K3 的 3T 开放权重、KDA+MLA 混合注意力与智能体训练环境,并讨论它在美国 AI 界和投资市场引发的关注及相关的开源大辩论。
推荐理由:两位嘉宾从算法与推理系统两条线拆解 K3 的混合注意力、MoE 与训练细节,帮助理解开源模型究竟开放了什么、保留了什么。
梁文锋在闭门讲话中亮出一张精算账:硬件 10 个月回本、API 按成本 6 倍定价,融资的钱全部买卡,贵四倍也买,用“反正开了你也做不了”的成本壁垒把同行甩开。围绕绕开英伟达生态,DeepSeek 用 TileLang 重构底层算子,Claude 加一两个工程师就做完 AMD 硬件适配原型。开源只是试吃,真正的护城河藏在上下文与工程化能力里。
浙江传媒学院设计艺术学院与阿里云设计中心以蓝印花纹样为数据集举办联展,融合 AIGC 生成与 Vibe Coding 共创。双方通过数据处理、模型训练与工作流搭建探索非遗活化路径,赋能数字创作、产品设计与新媒体演绎。
《晚点聊》访谈高通创投投资人周楠,回顾她 9 年前对 Cerebras Systems 的早期投资,这家 AI 算力芯片公司已于 5 月中旬 IPO。节目探讨了 Cerebras 作为“英伟达挑战者”的 WSE 架构优劣,并回顾了百度美研与 Scaling Law 萌芽期的历史。
Parameter Golf 汇集 1,000+ 名参与者并收到 2,000+ 份提交,在严格限制下探索 AI 辅助机器学习研究。具体方向覆盖编程智能体、模型量化与新型模型设计。
Berkeley AI Research 综述自适应并行推理(Adaptive Parallel Reasoning)这一范式:让模型在推理时自行决定何时分解任务、生成多少并发线程并协调它们,以缓解顺序推理导致的上下文膨胀与延迟问题。
OpenAI 发布全新超算网络协议 MRC(Multipath Reliable Connection),通过 OCP 开源,旨在提升大规模 AI 训练集群的弹性与性能。
Google DeepMind 在新论文中提出 Decoupled DiLoCo 分布式训练架构,把大型训练任务拆分为解耦的计算岛并以异步数据流连接,实现跨远距离数据中心的低带宽、高容错训练。
SPEX 与 ProxySPEX 算法以极少的消融次数,大规模识别驱动 LLM 行为的关键特征、数据与模型组件交互。SPEX 利用稀疏性与低度性将搜索转化为可解的稀疏恢复问题,在输入扩展到数千特征时仍保持高 faithfulness;ProxySPEX 进一步利用层级结构,以约 10 倍更少的消融达到同等性能。
IH-Challenge 通过训练模型优先遵循可信指令,提升前沿 LLM 的指令层级、安全可控性以及抵抗提示词注入攻击的能力。
OpenAI 介绍了其自研的内部数据智能体,该智能体结合 GPT-5、Codex 与记忆能力,可对海量数据集进行推理。它能在数分钟内输出可靠洞察,服务于 OpenAI 内部的数据分析需求。
推荐理由:文章说明 OpenAI 如何以 GPT-5、Codex 与记忆能力构建内部数据智能体,可作为企业自建数据分析 Agent 的参考路径。
OpenAI 宣布将收购 Neptune,以加深对模型行为的可见性,并强化研究者用于追踪实验和监控训练的工具。
Google DeepMind 与 Google Research 发布天气预报模型 WeatherNext 2,预报速度提升 8 倍、分辨率精细到 1 小时,在 99.9% 的变量和 0-15 天预报时效上超越上一代 WeatherNext 模型。
推荐理由:原文给出 WeatherNext 2 相比上一代在 99.9% 的变量与预报时效上提升,并开放 Earth Engine、BigQuery 与 Vertex AI 早期访问,可据此判断气象数据的获取与使用方式变化。
Google DeepMind 在 Nature 发表新论文,提出一种将视觉模型的表征与人类知识对齐的三步方法,显著提升模型与人类判断的一致性、鲁棒性和泛化能力。
OpenAI 推出全新基准 IndQA,用于评估 AI 系统在印度语言上的表现。该基准与领域专家共同构建,覆盖 12 种语言和 10 个知识领域,重点测试模型的文化理解与推理能力。
Berkeley AI Research 提出基于分治(divide and conquer)的 off-policy RL 算法,不依赖 TD learning,将 Bellman 递归次数降至对数级,可扩展至任意长程任务。
研究证明,在现实可行的条件下 word2vec 的学习问题可归约为无权最小二乘矩阵分解,其梯度流动力学存在闭式解,最终学到的表示即由 PCA 给出。训练从接近原点的小初始化出发,以离散、顺序的步骤逐个学习正交线性子空间,每一步递增嵌入矩阵的秩并使损失阶梯式下降。这些学到的特征仅由可测语料统计与算法超参数构成的目标矩阵顶部特征向量决定,对应该语料中名人传记、政府行政、地理描述等可解释的主题级概念。
Python 的 pandas、numpy、statsmodels、sklearn 和 matplotlib 这 5 个第三方库几乎能解决所有数理统计分析问题。它们分工明确:pandas 负责数据处理,numpy 提供底层计算加速,statsmodels 用于统计建模,sklearn 开发机器学习模型,matplotlib 负责绘图。这些库的 API 能直接交互,搭配使用可搞定所有统计数据分析。
通义千问提出 GSPO(Group Sequence Policy Optimization)强化学习算法,以序列级别重要性比率执行裁剪与优化,解决 GRPO 长期训练的不稳定与不可逆模型崩溃问题。
腾讯科恩实验室 BinaryAI 函数语义匹配大模型 BAI-3.0 的 API 日调用量破亿,日均处理十万级二进制文件分析请求,单日峰值达 40 万文件。平台已深度集成至 TAV、TIX、BSCA 等腾讯云安全产品,覆盖挖矿威胁防御、后门检测、软件供应链安全等六大核心场景。2025 年 BinaryAI 将结合推理大模型与 AI Agent 技术驱动产品升级。
OpenAI 宣布为 fine-tuning API 引入视觉能力,开发者现在可使用图像和文本微调 GPT-4o,以提升视觉能力。
推荐理由:官方把 GPT-4o 微调开放到图像与文本混合数据,开发者可针对视觉任务定制模型并直接通过 API 调用。
OpenAI 宣布 API 支持模型蒸馏,用户可用前沿大模型的输出微调高性价比模型,全部流程在 OpenAI 平台完成。
推荐理由:宣布 OpenAI API 支持模型蒸馏,用户可用大模型输出微调低成本模型,为降低调用成本提供官方路径。
OpenAI 举办 GPT-4o 微调网络研讨会。
OpenAI 提出改进一致性模型(Consistency Models)训练的技术。一致性模型是一类新兴生成模型,无需对抗训练即可一步采样高质量数据。
OpenAI 阐述了 AI 时代的数据处理方式,并为创作者和内容所有者推出新的 Media Manager。ChatGPT 发布刚过一年多,AI 正在改变人们的生活、工作与学习方式,OpenAI 同时分享了后续的发展方向。
OpenAI 宣布改进微调 API 并扩展自定义模型计划,新增功能帮助开发者更好地控制微调,同时提供与 OpenAI 共建自定义模型的新方式。
OpenAI 推出数据合作伙伴计划,与合作伙伴共同创建开源和私有数据集,用于 AI 训练。
OpenAI 与 Scale 达成合作,为企业微调模型提供支持。OpenAI 客户可借助 Scale 的 AI 专业知识,定制 OpenAI 最先进的模型。
OpenAI 宣布开发者现在可引入自有数据微调 GPT-3.5 Turbo,以针对自身用例定制模型,该功能随本次 API 更新一并推出。
推荐理由:原文明确了开发者可使用自有数据微调 GPT-3.5 Turbo,读者可据此评估定制模型对自身业务场景的适用性。
OpenAI 通过奖励每个正确推理步骤(过程监督)而非仅奖励最终答案(结果监督)训练模型,在数学问题求解上达到新的 SOTA。过程监督还直接训练模型生成人类认可的链式推理,带来对齐收益。
推荐理由:文章对比了过程监督与结果监督两种训练方式,指出奖励每个正确的推理步骤不仅能提升数学性能,还能带来对齐收益。
OpenAI 宣布 ChatGPT 用户现在可以关闭聊天记录,自行选择哪些对话可用于训练其模型。
推荐理由:原文说明了关闭聊天记录这一功能的具体定位,读者可据此判断它对个人数据隐私和模型训练数据控制的影响。
冰岛正在使用 GPT-4 保护其语言,让这一语言为未来而留存。
OpenAI 发表研究,探讨如何高效训练语言模型使其具备中间填充(fill-in-the-middle)能力。
大型神经网络是近期 AI 进步的核心,但其训练是艰巨的工程与研究挑战,需要协调一个 GPU 集群来完成单一同步计算。
OpenAI 最新研究发现,通过在小型精选数据集上微调,可以改善语言模型在特定行为价值观方面的表现。
OpenAI 表示已将人类反馈强化学习(RLHF)应用于语言模型训练,使其在摘要任务上表现更好。
推荐理由:这篇材料给出了 RLHF 在摘要任务上的具体用法,可迁移到其他需要人类偏好对齐的文本生成场景。
OpenAI 发布分析称,自 2012 年以来在 ImageNet 分类任务上训练到同等性能所需的算力每 16 个月减少一半;训练到 AlexNet 水平所需算力仅为 2012 年的 1/44,而摩尔定律同期仅能带来 11 倍改善,表明算法进步带来的增益已超过经典硬件效率。原文:https://openai.com/index/ai-and-efficiency