宾大茅佳源:从单次演示到 83% 真机泛化,破解具身智能数据困局|IROS 2026
茅佳源团队在 IROS 2026 提出 RAPID 闭环框架,仅需单次人类演示即可泛化执行推、翻、压移等复杂非抓取真机任务。团队还提出 TR 指标,诊断视频-动作联合模型中 Action Head 忽视视频预测的“机制脱节”问题。基于 TR 的自适应引导机制将双臂机器人复杂组合任务的真机 OOD 泛化成功率提升至 83%。
茅佳源团队在 IROS 2026 提出 RAPID 闭环框架,仅需单次人类演示即可泛化执行推、翻、压移等复杂非抓取真机任务。团队还提出 TR 指标,诊断视频-动作联合模型中 Action Head 忽视视频预测的“机制脱节”问题。基于 TR 的自适应引导机制将双臂机器人复杂组合任务的真机 OOD 泛化成功率提升至 83%。
美国北卡罗来纳州立大学团队研制出一款“机械智能”软体机器人,无需微电脑和实时算法,仅用两根气管控制充放气,就能切换水母、鱼、转子三种游动模式。其控制逻辑由材料与结构本身承担,可完成升降、悬停、转向等动作。相关成果发表于《科学进展》。
何恺明团队在论文《VISTA: A Visual Harness for Reasoning in an Interactive World》中提出视觉原生Harness框架VISTA,把环境返回的每一帧原样保存到上下文之外,供模型按需回看、放大和对比,无需额外训练。
推荐理由:论文提出把原始画面存成可随时回看的视觉档案,让现有多模态模型无需重新训练即可在交互式视觉推理中复用视觉经验。
AMI 联合纽约大学、巴黎 INRIA 和布朗大学发布论文 H-JEPA,提出将多个 JEPA 逐层堆叠的分层世界模型,并同步公开代码与预训练模型权重。在 Visual AntMaze 仿真任务中,三层 H-JEPA 成功率达 73%,单层模型为 18%,且以更少的规划计算量取得更好表现。AMI 于今年 3 月完成 10.3 亿美元融资,投前估值 35 亿美元。
清华团队联合多所高校推出的 WorldArena 2.0 Challenge 揭榜,视启未来 WorldIncept、北京中关村学院 MW2、小米机器人 ViTacX 分获三条赛道第一。
哥伦比亚大学李昀烛团队在 IROS 2026 触觉专题研讨会上介绍了开源柔性压阻式触觉传感器平台 FlexiTac 开源约一年半后的进展与生态。FlexiTac 采用 FPC 与力敏薄膜层叠结构,组装仅需 3 分钟,可弯曲、裁剪并包覆于异形曲面,已集成进机器人学习框架 LeRobot,本科生用 3D 打印机打印 SO-100 机械臂即可接入。
MirroS 团队发布 AgentGarten,将可执行代码环境与实时神经渲染器连接,以超过 30 fps 的吞吐让智能体持续与世界交互。在捉迷藏实验中,躲藏者在第 4 轮学会搭掩体、搜寻者在第 10 轮掌握借坡道翻墙,而 OpenAI 2019 年同类研究分别用了约 2500 万局和约 1 亿局自我博弈。
ETH Zurich 研究人员将现成机械手改造为完全独立的机器人,使其能用指尖行走并与环境交互。团队用强化学习在仿真中训练行走模型,并为手指引入“虚拟弹簧”机制以保持爬行姿态,四个模型可全部部署在机载计算机上。
蚂蚁集团与浙江大学提出面向流式视频情绪理解的 TRACE 框架,通过跟踪模型预测轨迹评估判断可靠性,并按需引入多模态上下文重判。团队同时构建流式评测数据集 StreamMER,在 StreamMER 上将仅在线音频判断的准确率从 59.87% 提升至 69.47%,同时避免 44.42% 的上下文重判调用。
银河通用 GaLbot 联合清华、北大等团队提出 LATENT 框架,仅用约 5 小产业余选手动作碎片,就让人形机器人 Unitree G1 学会连续网球对打。
IROS 2026 主会在美国匹兹堡落幕,最佳论文奖颁给机器人长期记忆研究《LT-Mem》,其分层记忆结构按对象变化频率组织记忆。Best Student Paper Award 由四旋翼无人机近距离编队飞行研究获得,人形机器人学打网球、端托盘的两项工作分获专项奖。获奖与候选工作覆盖长期记忆、VLA、世界模型、视触觉操作等方向,指向机器人从展示能力走向在真实世界持续使用能力。
至简动力强化学习负责人冯宗宝在 IROS 2026 现场分享,一台 i7 Pro 机器人可自主照看两台 CNC 机床,在工件与卡盘间隙仅 0.5 毫米的情况下完成工件抓取、上料卡盘、加工后取件与归位放置,整套模型仅用 600 条真实机器人轨迹完成训练。方案结合 SimpleWAM、DRAM 与 DPE 三种方法,分别处理动作生成、长时序记忆与动作选择,在精密插入任务上取得 100% 的任务成功率。
Verkor.io 在 3 月发表的研究论文中声称,其智能体系统 Design Conductor 能自主生成完整的 RISC-V CPU 核。该系统仅需一份 219 词的需求文档,即可在 12 小时内产出经验证、可直接用于布局的设计。这一速度比商业芯片设计常规的 18 至 36 个月周期快出数个数量级。
PhAI Labs 联合 Stanford、Oxford、Princeton 的研究者提出 JEPA-Anything,把预测状态拆成四个正交因子分别预测再重组,在物理、机器人和天气预报等十个任务上持续优于同条件的标准 JEPA。
推荐理由:论文把 JEPA 的预测状态拆成四个正交因子分别预测,在流体、单细胞和临床数据上与标准 JEPA 做同条件对比,并给出一个经实验室测试的肝癌候选疗法。
斯坦福团队项目 HomeBody 让 GPT-6 Astra 控制宇树 G1 机器人,在从未见过的厨房里按语言指令归拢咖啡袋、丢掉纸盒,并从视野外的抽屉中找到药递给人。
推荐理由:原文拆解了 HomeBody 让大模型把机器人技能当工具调用的三步流程,可看出具身智能任务从桌面抓取扩展到整房间操作的实现思路。
科学家开源了首张完整的成年雄性果蝇中枢神经系统连接图,标出166,691个神经元、约1.25亿个突触连接,数据可直接下载。网友把游戏画面、摄像头信号喂给基于该数据搭建的神经模型,再将神经信号转成控制指令,让果蝇大脑玩光剑和《Doom》、解魔方、驱动机械腿和无人机。这张连接图耗时多年,经电子显微镜成像、AI重建神经元和人工校对完成,研究团队正继续向更复杂的动物大脑推进。
香港科技大学(广州)联合腾讯 AI 平台部提出 VibeWorlding 多模态智能体框架,让智能体通过多轮对话、调用工具与观察渲染反馈,自主构建和编辑交互式 3D 世界,同时开源了 VWE-Bench 评测基准、VibeWorlding-Gym 训练框架与 VibeWorlder 模型合集。
Google DeepMind 回顾 15 年游戏 AI 历程:DQN 学会 49 款 Atari 游戏,AlphaGo 击败李世石,相关基础研究催生了获 2024 年诺贝尔化学奖的 AlphaFold。
GRASP 是一种面向学习式世界模型的新型基于梯度的规划器,让长程规划变得切实可行。它将轨迹提升至虚拟状态以实现跨时间并行优化,向状态迭代直接注入随机性以促进探索,并重塑梯度使动作获得干净信号,从而规避高维视觉模型中脆弱的 state-input 梯度。该工作由 Yann LeCun 等人合作完成,针对长程规划中梯度爆炸/消失与不良局部极小值导致的脆弱性。
本期 AI 论文周报推荐 5 篇前沿论文,覆盖通用智能体、地理信息系统与机器人操作等领域。Agent Lightning 实现 Agent 执行与训练完全解耦,几乎无需改代码即可对任意 AI Agent 进行强化学习训练。
OpenAI 观察到智能体在简单的捉迷藏游戏中逐步发现更复杂的工具使用方式,并在新的模拟捉迷藏环境中形成六种不同的策略与反策略,其中一些是研究者此前不知道该环境支持的。这种自监督涌现的复杂性进一步表明,多智能体协同适应未来可能产生极其复杂和智能的行为。
推荐理由:智能体在简单的捉迷藏环境中通过自监督训练涌现出六种策略与反策略,为多智能体协同演化产生复杂行为提供了可参照的路径。
OpenAI 训练了一只类人机器人手,能够以空前的灵巧度操作实物。
OpenAI 发布 8 个模拟机器人环境与 Hindsight Experience Replay 的 Baselines 实现,这些工具均开发于过去一年并用于其机器人学研究。这些环境已被用于训练可驱动实体机器人的模型。OpenAI 同时发布了一系列机器人学研究请求。
OpenAI 展示,在模拟机器人摔跤任务中,元学习智能体可学会快速击败更强的非元学习智能体。该元学习智能体还能适应物理故障。
OpenAI 打造了全球首个完全在模拟环境中训练、并部署于实体机器人上的 Spam 检测 AI。