跳到正文

#数据/训练

今日 0 条
10月14日周三
10月13日周二
  1. Hacker News · AI 最新43

    AWS 提出 priming 方法:无需从头重训即可将预训练 Transformer 转为混合状态空间模型

    Amazon Web Services 提出 priming 方法,复用预训练 Transformer 权重作为起点,将混合架构的预训练成本降低超过 99%。在受控对比中 Gated KalmaNet(GKA)表现最佳,其 32B 参数混合模型在推理 benchmark 上与原 Transformer 质量相当,128,000 tokens 上下文下解码速度最快达 2 倍。

  2. The Decoder46

    Sakana AI 的自我改进模型:解题与评判能力提升,但仍无法发现自身盲区

    Sakana AI 与 UC Berkeley 提出“多智能体自监督”(MASS)方法,让单个语言模型同时承担解题、评判与优化工作以实现递归自我改进。该方法基于 Qwen3.6-27B,两轮训练后对基座模型的胜率从 53.9% 升至 69.9%,自评器与外部评判的一致率也从 73% 提高到 93%。但研究指出,同一模型共用盲区会让错误被当成进步并进入下一轮训练,且部分基准提升幅度有限或出现下降。

  3. Microsoft Research49

    Microsoft Research 推出 StudentSim:用 AI 学生模拟器改进 AI 辅导

    Microsoft Research 推出 StudentSim,这是一个在真实学习者测试前评估和改进 AI 辅导系统的研究工具。它从公开的去标识化学习者记录中训练个性化学生模拟器,并引入 StudentSimEval 基准,从行为保真度和指导响应度两个维度进行评估。该系统在棋类、英语二语写作和数学领域优于主流基线,可为 AI 辅导训练提供有用的反馈信号。

10月12日周一
10月11日周日
10月10日周六
  1. 雷峰网58

    让触觉像视觉一样可规模化,哥大李昀烛团队 FlexiTac 的开源实践

    哥伦比亚大学李昀烛团队在 IROS 2026 触觉专题研讨会上介绍了开源柔性压阻式触觉传感器平台 FlexiTac 开源约一年半后的进展与生态。FlexiTac 采用 FPC 与力敏薄膜层叠结构,组装仅需 3 分钟,可弯曲、裁剪并包覆于异形曲面,已集成进机器人学习框架 LeRobot,本科生用 3D 打印机打印 SO-100 机械臂即可接入。

10月9日周五
  1. 量子位 · 行业解读42

    图像生成模型调优新思路:让解码器“提前适应”生成器的潜变量

    多伦多大学等机构提出生成感知重建(GAR)方法,通过沿加噪路径评估解码器,解决重建指标与生成质量不匹配的问题。基于 GAR 的解码器适配仅微调解码器权重,使 iMF-B/2 的 gFID 从 16.58 降至 12.21,且不增加推理的额外计算。该方法为评估和改进视觉分词器提供了新工具。

  2. Hacker News · AI 最新50

    用「理解审计」降低自动化 AI 研究风险的机制探索

    AI 已为前沿 AI 实验室编写大部分代码,论文提出「理解审计」机制:由负责人向审计员解释研发贡献以证明其理解,未通过即暂停相关开发。对领先开源 AI 项目的分析发现,代码产出增加而人均代码审查率下降,自动化集群账号的审查率远低。作者建议各实验室引入嵌入式独立审计员落实该机制。

10月8日周四
  1. Microsoft Research61

    Agent Lightning v1.0 发布:约 3500 行的轻量级智能体 RL 训练框架

    微软亚洲研究院发布开源框架 Agent Lightning v1.0,让部署时使用的 agent harness 通过 LLM 代理直接参与强化学习,无需在训练框架内重新实现 agent。

    推荐理由:框架让部署用的 agent harness 直接参与 RL 训练,省去在训练框架内重建 agent 的成本,并给出可复现的编码智能体训练流程。

10月6日周二
10月5日周一
10月4日周日
  1. 量子位 · 行业解读50

    中国联通 MoHGE 异构分组混合专家架构上线:参数瘦身20%,推理反超传统MoE | ACL'26

    中国联通数据科学与人工智能研究院提出异构分组混合专家架构 MoHGE,成果入选 ACL 2026 且代码已开源。在 3B 与 14B 规模下,MoHGE 较同精度传统 MoE 削减约 20% 整体参数量,单次推理激活专家参数降低近四分之一,MMLU、MATH、GSM8K 等 benchmark 准确率媲美甚至超越传统架构。

10月1日周四
9月24日周四
  1. NVIDIA Blog70

    NVIDIA 与 Google DeepMind 等机构如何用开放科学帮助研究人员应对下一次大流行

    NVIDIA 联合 Google DeepMind、EMBL-EBI 等全球研究机构,通过 AlphaFold Database 开放发布超过 2800 种病毒的蛋白复合物预测 3D 结构,供任何科学家免费使用。

    推荐理由:数据集覆盖超过 2800 种病毒的蛋白复合物结构并开放了生成管线,可据此判断结构生物学与药物靶点研究的工具链变化。

9月4日周五
9月3日周四
8月31日周一
8月12日周三
4月22日周三
3月13日周五
  1. Berkeley AI Research48

    SPEX 与 ProxySPEX:大规模识别 LLM 的关键交互

    SPEX 与 ProxySPEX 算法以极少的消融次数,大规模识别驱动 LLM 行为的关键特征、数据与模型组件交互。SPEX 利用稀疏性与低度性将搜索转化为可解的稀疏恢复问题,在输入扩展到数千特征时仍保持高 faithfulness;ProxySPEX 进一步利用层级结构,以约 10 倍更少的消融达到同等性能。

11月11日周二
11月4日周二
11月1日周六
9月1日周一
  1. Berkeley AI Research43

    word2vec 究竟学到了什么?

    研究证明,在现实可行的条件下 word2vec 的学习问题可归约为无权最小二乘矩阵分解,其梯度流动力学存在闭式解,最终学到的表示即由 PCA 给出。训练从接近原点的小初始化出发,以离散、顺序的步骤逐个学习正交线性子空间,每一步递增嵌入矩阵的秩并使损失阶梯式下降。这些学到的特征仅由可测语料统计与算法超参数构成的目标矩阵顶部特征向量决定,对应该语料中名人传记、政府行政、地理描述等可解释的主题级概念。

7月27日周日
6月20日周四
5月31日周三
  1. OpenAI News67

    OpenAI 用过程监督提升数学推理能力

    OpenAI 通过奖励每个正确推理步骤(过程监督)而非仅奖励最终答案(结果监督)训练模型,在数学问题求解上达到新的 SOTA。过程监督还直接训练模型生成人类认可的链式推理,带来对齐收益。

    推荐理由:文章对比了过程监督与结果监督两种训练方式,指出奖励每个正确的推理步骤不仅能提升数学性能,还能带来对齐收益。

7月28日周四
6月10日周四
9月4日周五
5月5日周二
  1. OpenAI News59

    OpenAI 发布 AI 效率分析:训练同等性能模型所需算力每 16 个月减半

    OpenAI 发布分析称,自 2012 年以来在 ImageNet 分类任务上训练到同等性能所需的算力每 16 个月减少一半;训练到 AlexNet 水平所需算力仅为 2012 年的 1/44,而摩尔定律同期仅能带来 11 倍改善,表明算法进步带来的增益已超过经典硬件效率。原文:https://openai.com/index/ai-and-efficiency

12月5日周四
  1. OpenAI News61

    深度双重下降:模型规模增大时性能先升后降再升

    OpenAI 研究表明,CNN、ResNet 和 Transformer 中都存在双重下降现象:随着模型规模、数据量或训练时长增加,性能先提升、后下降、再提升。仔细的正则化通常可以避免这一效应;该现象相当普遍,但成因尚未被完全理解,OpenAI 认为进一步研究是重要方向。

    推荐理由:文章揭示了增大模型规模、数据量或训练时长时性能会先升后降再升,为理解过拟合与正则化提供了新的分析视角。