跳到正文

#多模态

今日 0 条
9月23日周三
  1. 科普中国 · 阿虚同学30

    阿里云「AI 设计原生力」工作坊与 Skills 现场回顾

    9月23日,阿里云智能设计中心「AI 设计原生力」Agentic Design 工作坊在云栖大会落地,围绕 AI 影像、Vibe Designing、Agent 产品设计与体验度量,探讨人与 Agent 协作的设计新范式。工作坊指出设计师价值正转向规则定义、系统构建与质量判断,现场展区还呈现 12 项覆盖界面生成、视觉规范与体验度量等环节的设计 Skills。

9月22日周二
  1. Latent Space78

    小米 MiMo-V2.6-Pro 1T-A42B 登顶开放权重模型榜单,训练成本 $3M

    小米发布 MiMo-V2.6 系列原生全模态开放模型,MiMo-V2.6-Pro 以 1.02T 总参数、42B 激活参数登顶 Artificial Analysis 开放权重智能指数(46),另有 Flash 与最高 20x 提速的 Pro-UltraSpeed 版本。

    推荐理由:小米以非传统大厂身份拿下开放权重榜首,并同步开放 RL 环境与训练配方,显示后训练正成为更便宜的能力跃升路径。

9月21日周一
  1. 字节跳动技术团队56

    火山引擎 AI MediaKit 如何实现视频字幕无痕擦除

    火山引擎推出 AI MediaKit 理解式视频编辑引擎,升级视频字幕擦除能力。系统先通过多模态语义理解判断文字角色,决定擦除或保留,再由自研 ReFM 残差流匹配模型从原视频潜变量出发完成 4 步采样修复,避免从随机噪声重建带来的失真。新版支持 50 多种语种擦除,面向短剧出海与素材复用场景。

  2. X65

    用 Ling-3.0-flash-VL 接管运营复盘中最烦的图表读数环节

    作者用自己 X 账号的后台截图实测了蚂蚁开源的 Ling-3.0-flash-VL,验证它在细粒度图表读数上的表现。底部 11 张卡片数值全部读对,双 Y 轴图 9 天 New follows 全部命中,跌幅前三名(Shares -100%、Bookmarks -84%、Likes -72%)排序正确,像素级核对后绝大多数误差在个位数以内。

    推荐理由:作者用自己真实的 X 后台截图做像素级核对,验证了轻量多模态模型在细粒度图表读数上的可用性,也给同类重复劳动提供了可迁移的验证方法。

9月20日周日
9月17日周四
  1. 字节跳动技术团队37

    日志服务 TLS AgentLoop:让多模态调用清晰可见

    火山引擎日志服务 TLS AgentLoop 支持多模态内容展示,开发者可在消息和调用节点中直接查看图片,并与提示词、模型输出、工具结果沿同一条链路分析。媒体不再以 Base64 混入日志,而是由插件上传至对象存储 TOS 并在原消息位置写入媒体引用,避免日志超长截断与高存储成本。接入覆盖 Agent 运行时附件、客户自有 TOS 私有资源与 GenAI 标准多媒体消息三种来源。

9月14日周一
  1. 阿里云开发者77

    DeepSeek-V4.1-Flash上线千问AI平台,API与Token Plan同步开放

    DeepSeek-V4.1-Flash正式上线千问AI平台,API服务与Token Plan同步开放,开发者可在Qoder、千问APP、Codex等工具中调用。模型原生支持文本与图像理解,最长支持100万Token上下文,可用于代码开发、长文档处理、视觉理解和智能体任务。借助新一代缓存压缩技术,其HBM需求降至上一代模型的1/4、SSD存储需求降至1/8,部署基于vLLM开源社区适配完成。

    推荐理由:原文列出了模型的多模态能力、100万Token上下文与存储需求降幅,读者可据此评估长上下文场景的部署成本。

9月11日周五
  1. 阿里云开发者72

    阿里云Token Plan个人版升级:加量不加价,新增12类Agent Harness工具

    阿里云 Token Plan 个人版升级,Standard 与 Pro 套餐价格和 Credit 额度保持不变,新增覆盖搜索、网页解析、图像生成、语音处理、代码执行等 12 项 Agent 开发能力,工具均通过 MCP 标准协议开放,可直接接入自有 Agent 应用。

    推荐理由:原文列出了各套餐新增的 MCP 工具与具体调用额度,读者可据此估算自己搭建 Agent 的月度成本。

9月10日周四
  1. DeepSeek 更新日志83

    DeepSeek-V4.1-Flash 发布

    DeepSeek 正式发布 DeepSeek-V4.1-Flash,这是其全新模型结构系列中最小尺寸的模型,具备原生多模态视觉理解能力,GPQA Diamond 得分 90.9,HLE 得分 36.8。

    推荐理由:原文列出了新模型在推理、编码与多模态等基准上的成绩,并说明 API 调用方式与旧模型路由安排,读者可据此评估能力定位与迁移成本。

9月7日周一
  1. 傅盛72

    GPT-6 把 3D 建模玩明白了,9 个字复刻游戏场景

    网友把游戏构想丢给 GPT-6 Astra,用 Codex 接 Blender MCP,45 分钟跑出一个可玩的 3D 游戏 Demo;作者照此方法只说九个字,30 分钟就在 Blender 里把照片场景复刻了七七八八。

    推荐理由:文章汇总 GPT-6 在 3D 建模与游戏原型上的案例,并给出可复现的 Codex 加 Blender MCP 思路,便于读者判断这种能力对自己工作的冲击。

9月6日周日
9月4日周五
9月3日周四
  1. 十字路口 Crossing51

    对数美万物创始人卷卷的 3 小时访谈:从抖音到 AI 3D 与制造业 OS 的野心

    本期「十字路口」访谈数美万物创始人、CEO 卷卷(本名任利锋),近 3 小时长谈覆盖抖音从 0 到 1 的经验、AI 3D 创业与制造业 OS 野心。节目聊到数美万物最新发布的 Hi3D 3.0 2048³ 模型,卷卷认为基础模型不会吞噬一切,实体制造中真正困难的是模型之后的拆件、连接结构、材料适配与订单交付。

9月2日周三
  1. Google DeepMind80

    Gemini 推出智能体视频理解能力,token 消耗最高降低 88%

    Google DeepMind 在 Gemini 3.7 Flash、3.6 Flash 与 3.5 Flash-Lite 上线智能体视频理解能力,token 消耗最高降低 88%、成本最高降低 66%、准确度最高提升 7%。

    推荐理由:原文给出最高 88% 的 token 降幅与 66% 的成本降幅,并说明按标准 API 计费、无额外功能费的开启方式,便于开发者评估接入成本。

9月1日周二
  1. 傅盛63

    fal.live 24小时AI直播让观众点菜,傅盛称AI视频拐点已至

    fal上线24小时不间断AI电视台fal.live,剧情由观众实时投票决定、AI现场生成。其核心是后训练自MiniMax开源H3的H3 Max模型,5秒视频最快不到3秒生成,吞吐量约为fal官方MiniMax H3接口的35倍,768p标准价0.08美元/秒。作者认为生成速度快过播放速度让互动视频从预制走向现做,尽管目前仍存在人物形象不稳定等问题。

8月31日周一
8月28日周五
  1. 阿里云开发者64

    Tarot Pixel 实践:AI 视觉还原的上下文工程与循环工程

    Tarot Pixel 团队提出用上下文工程和循环工程两个方向提升 Coding Agent 的设计稿还原质量:先对设计稿做五阶段降噪,把节点数从 245 降到 113、单模块 API 调用从 15-25 次降到 5-10 次;再在 Skill 中内置做-看-改闭环,以 diff 百分比为验证器、20 轮为上限,用 Qoder 加 Kimi K3 等模型逐步收敛到视觉一致。

  2. Google DeepMind80

    Gemini Omni 1.1 Flash 发布,带来更强创意控制与生成视频能力

    Google DeepMind 发布 Gemini Omni 1.1 Flash,为开发者带来一套新的创意控制与生成视频能力,可通过 Gemini API 在 Google AI Studio 或企业 Agent Platform API 使用。

    推荐理由:相比此前只能参考最后一秒,Omni 1.1 可分析最多 10 秒前文,场景延长以 10 秒为步进累计至 40 秒,读者可据此判断它对连续叙事工作流的价值。

8月27日周四
  1. 翔宇工作流61

    豆包工作上线:配 24 小时不关机云电脑,登录送 30 天会员

    字节上线桌面 Agent「豆包工作」,为每个用户配一台 24 小时不关机的云电脑,电脑关机、断网都不影响 Agent 任务运行。作者实测它靠多模态视觉完成网页签到,并把 26 分钟视频转成 10 页 Word 笔记存入飞书,仅消耗 2.37 额度;对话记录与 Skill 多端同步,手机可远程控制电脑,登录即送 30 天完整会员。

  2. 阿里云开发者79

    Qwen3.8-Flash 上线千问 AI 平台,每百万 Tokens 输入 0.8 元

    千问 AI 平台上线 Qwen3.8-Flash,API 每百万 Tokens 输入 0.8 元、输出 2.7 元、缓存命中 0.1 元。该模型为多模态 MoE 架构,千亿总参数仅激活 60 亿,引入 QSA 机制与 Gated Residual,在高缓存命中的 1M Tokens 长上下文场景中提速 8 倍以上。模型权重已在 Hugging Face 与魔搭社区开源,千问办公标准模式也已内置。

    推荐理由:原文列出了 Qwen3.8-Flash 的架构创新与分层价格,读者可据此评估长上下文 Agent 任务的调用成本。

8月26日周三
  1. 智谱 · 官方公众号83

    智谱上线并开源 GLM-5.3-Flash,前沿智能进入普惠时代

    智谱上线并开源 GLM-5.3-Flash(320B-A18B),这是 GLM-5 系列首个原生多模态模型,AA 综合智能指数取得 57 分,与 Claude Opus 4.8 持平,定价为 GLM-5.3 的 1/10、限时折扣内 1/20、Opus 4.8 的 1/40。

    推荐理由:原文给出与 Claude Opus 4.8 的能力与价格对照,以及混合注意力架构的降本路径,可据此评估前沿模型的成本走向。

8月24日周一
  1. 阿里云开发者74

    Wan3.0 正式上线千问AI平台

    视频生成模型 Wan3.0 正式上线千问AI平台,单次可生成30秒视频,并首次支持 doc、xls、ppt、pdf、md 等文档格式输入。自8月6日公测以来,Wan3.0 在跨镜头一致性、人物质感与真实世界还原方面获得短剧、广告、文旅等行业用户反馈。480P/720P/1080P 的 API 价格分别为 0.3/0.6/1.2 元/秒,8月24日至9月23日开启限时7折优惠。

    推荐理由:原文给出了 Wan3.0 的生成时长、文档输入能力与 API 定价,可据此判断视频生成模型在生产流程中的落地进展。

8月21日周五
  1. DeepSeek 更新日志75

    DeepSeek-V4-Flash-Vision-Exp 发布

    DeepSeek API 平台上线实验性多模态视觉理解模型 DeepSeek-V4-Flash-Vision-Exp,用户可通过 model='deepseek-v4-flash-vision-exp' 访问。

    推荐理由:原文列出了新模型与 DeepSeek-V4-Flash 及 Opus-4.8 的对比基准,读者可据此判断其在多模态 Agent 任务上的水平。

8月13日周四
  1. Microsoft Research47

    MindTopo 揭示 VLM 的空间推理能力

    Microsoft Research 推出拓扑推理基准 MindTopo,评估多模态模型在连通性、包围、顺序、分离与打结五类拓扑关系上的推理与规划能力。测试显示,当前多模态模型在静态识别任务上表现明显优于交互式规划任务,两者均远低于人类水平,且错误多发生在规划阶段而非感知阶段。该基准为机器人和交互环境中的 AI 系统提供了可控诊断工具。

8月12日周三
  1. Google DeepMind85

    Google DeepMind 发布 SL2T 手语转文本模型,登陆 Pixel 11 的 Gboard 与 Live Transcribe

    Google DeepMind 发布大规模多语言手语转文本模型 SL2T,让手语 AI 首次走出实验室进入消费级产品:SL2T 驱动 Pixel 11 上 Gboard 与 Live Transcribe 的手语转文字功能,首发支持美国手语(ASL)转英语,更多设备与语言将陆续跟进。

    推荐理由:SL2T 以姿态关键点而非原始视频做端到端翻译,并进入 Gboard 与 Live Transcribe,可看作无障碍交互从实验室走向消费级产品的样本。

  2. 阿里云开发者56

    千问AI Arena 上线:给 Agent 一个真实的战场

    阿里千问AI平台正式上线“千问AI Arena”,一个面向 AI Agent 的挑战与评测平台,从真实业务中持续产生挑战任务并公开评测打榜。首个任务由千问AI平台与 Aidge 联合发起,聚焦跨境电商商品上架,要求开发者构建可独立运行的 Agent,一次生成面向美国、韩国和巴西三个市场的英语、韩语、葡萄牙语商品文案及主图、详情图和商品视频。

8月8日周六
  1. 翔宇工作流71

    LibTV+Seedance 2.5 实测:30 秒一镜到底,Vlog 真假难辨

    Seedance 2.5 发布,单段视频直出时长从 15 秒翻倍至 30 秒,支持两次视频延长、最长 90 秒,参考素材上限从 12 个提升到 50 个(30 张图片+10 段视频+10 段音频)。

    推荐理由:文章对比 Seedance 2.0 时代的长镜头拼接痛点,拆解 30 秒直出、片段重拍与智能引用如何改变 AI 视频制作流程。

8月1日周六
  1. 晚点聊 LateTalk51

    姚顺雨来到腾讯 300 天:混元改革、微信 WeLM 与中国大模型竞争

    《晚点聊》第 176 期邀请《晚点 LatePost》主笔高洪浩,聊他报道的姚顺雨空降腾讯混元 300 天带来的组织改变。播客补充了文章未详述的议题:微信 WeLM 与混元大概率长期并存,以及两者未来可能的联动融合。两人还从腾讯延伸到中国大模型竞争,讨论第一梯队模型能否定义胜负、AI 商业化从程序员走向白领的下一轮拐点。

7月30日周四
  1. Google DeepMind61

    Google DeepMind 在 Google Flow Music 发布 Lyria 3.5,改进音乐性、歌词、人声与创作控制

    Google DeepMind 发布最新音乐生成模型 Lyria 3.5,今日起在 Google Flow Music 中推出。模型在音乐性、歌词与人声三方面均有改进,歌词的提示词遵循度和结构感知提升,人声更真实且发音改善。用户可更方便地控制输出节奏与时长。

    推荐理由:官方列出了 Lyria 3.5 在音乐性、歌词与人声上的改进及节奏、时长控制,可据此对照 Google 音乐生成能力的当前水位。

7月28日周二
  1. Google DeepMind74

    Google DeepMind 发布 Gemini Robotics 2:为机器人带来全身智能

    Google DeepMind 发布 Gemini Robotics 2,通过三个模型为机器人带来全身智能、灵巧操作和多机协同能力。该系统可控制完整人形机器人执行耗时数分钟的多步任务,ER 2 推理模型已在 Google AI Studio 上线,On-Device 2 端侧模型仅需几小时即可适配新本体。

    推荐理由:官方公布了全身控制、灵巧操作与多机协同能力,并给出端侧几小时适配新本体的指标,适合评估具身智能进展。

7月15日周三
  1. 阶跃 StepFun · 官方公众号26

    阶跃 StepFun WAIC 2026 展区亮点抢先看:Step AOS 与智能体手机 STEPX Neo 首次线下亮相

    阶跃 StepFun 将在 WAIC 2026 集中展示 Step 系列模型矩阵与全球首个智能体原生操作系统 Step AOS。荣获本届 WAIC “镇馆之宝”的智能体手机 STEPX Neo 首次线下公开亮相,展区位于上海世博展览馆 H1 馆 C107。阶跃还携手吉利、千里科技升级汽车智能体(上极氪8X),并与原力灵机挑战 6 台机器人连续协作 15 小时拼装 8 万余块积木长城。

7月12日周日
  1. 阶跃 StepFun · 官方公众号63

    阶跃发布 Step Edge 端侧模型全家桶

    阶跃发布端侧模型家族 Step Edge,包含基础模型、Step Edge Audio、Step Edge GUI 和 Step Edge Gen,面向手机、汽车等终端场景。该系列支持低至 0.1 秒的端侧本地 toolcall 执行,多模态信息可在本地处理以保护隐私,并配套自研 Step Inference NPU 引擎优化推理延迟。官方称其在 29 项核心评测指标中取得第一。

7月11日周六
  1. 人民公园说 AI72

    GPT-5.6 来了:OpenAI 开始造超级 App,中美 AI 正在交换剧本

    这期播客认为 GPT-5.6 表面上是小版本更新,实际是 OpenAI 把 ChatGPT、Codex、GPT Live 和 ChatGPTWork 整合进同一入口、转向超级 App 的一次产品换轨。节目同时指出中美 AI 路径正在倒置,美国走向中心化而中国围绕飞书和模型生态分工,模型可替代时代入口与用户心智比榜单排名更关键。

7月10日周五
7月8日周三
6月9日周二
  1. Google DeepMind80

    Google DeepMind 发布 Gemma 4 12B:统一的无编码器多模态模型

    Google DeepMind 发布 Gemma 4 12B,一款可在笔记本本地运行的多模态模型。该模型采用无编码器统一架构,视觉与音频输入直接进入 LLM backbone,仅需 16GB VRAM 或统一内存即可运行,性能接近 26B MoE 模型。它是该系列首款支持原生音频输入的中型模型,已采用 Apache 2.0 许可证开源。

    推荐理由:官方给出了 16GB 内存即可本地运行的规格,以及与 26B MoE 模型的性能对比,便于开发者评估端侧部署方案。

6月8日周一