跳到正文

多模态

文本之外的能力:视觉理解、图文混合、音视频输入输出的模型与产品进展。

最新精选

第 41–60 条 · 共 93 条
9月11日周五
  1. 阿里云开发者72

    阿里云Token Plan个人版升级:加量不加价,新增12类Agent Harness工具

    阿里云 Token Plan 个人版升级,Standard 与 Pro 套餐价格和 Credit 额度保持不变,新增覆盖搜索、网页解析、图像生成、语音处理、代码执行等 12 项 Agent 开发能力,工具均通过 MCP 标准协议开放,可直接接入自有 Agent 应用。

    推荐理由:原文列出了各套餐新增的 MCP 工具与具体调用额度,读者可据此估算自己搭建 Agent 的月度成本。

9月10日周四
  1. DeepSeek 更新日志83

    DeepSeek-V4.1-Flash 发布

    DeepSeek 正式发布 DeepSeek-V4.1-Flash,这是其全新模型结构系列中最小尺寸的模型,具备原生多模态视觉理解能力,GPQA Diamond 得分 90.9,HLE 得分 36.8。

    推荐理由:原文列出了新模型在推理、编码与多模态等基准上的成绩,并说明 API 调用方式与旧模型路由安排,读者可据此评估能力定位与迁移成本。

9月7日周一
  1. 傅盛72

    GPT-6 把 3D 建模玩明白了,9 个字复刻游戏场景

    网友把游戏构想丢给 GPT-6 Astra,用 Codex 接 Blender MCP,45 分钟跑出一个可玩的 3D 游戏 Demo;作者照此方法只说九个字,30 分钟就在 Blender 里把照片场景复刻了七七八八。

    推荐理由:文章汇总 GPT-6 在 3D 建模与游戏原型上的案例,并给出可复现的 Codex 加 Blender MCP 思路,便于读者判断这种能力对自己工作的冲击。

9月4日周五
9月2日周三
  1. Google DeepMind80

    Gemini 推出智能体视频理解能力,token 消耗最高降低 88%

    Google DeepMind 在 Gemini 3.7 Flash、3.6 Flash 与 3.5 Flash-Lite 上线智能体视频理解能力,token 消耗最高降低 88%、成本最高降低 66%、准确度最高提升 7%。

    推荐理由:原文给出最高 88% 的 token 降幅与 66% 的成本降幅,并说明按标准 API 计费、无额外功能费的开启方式,便于开发者评估接入成本。

8月28日周五
  1. Google DeepMind80

    Gemini Omni 1.1 Flash 发布,带来更强创意控制与生成视频能力

    Google DeepMind 发布 Gemini Omni 1.1 Flash,为开发者带来一套新的创意控制与生成视频能力,可通过 Gemini API 在 Google AI Studio 或企业 Agent Platform API 使用。

    推荐理由:相比此前只能参考最后一秒,Omni 1.1 可分析最多 10 秒前文,场景延长以 10 秒为步进累计至 40 秒,读者可据此判断它对连续叙事工作流的价值。

8月27日周四
  1. 阿里云开发者79

    Qwen3.8-Flash 上线千问 AI 平台,每百万 Tokens 输入 0.8 元

    千问 AI 平台上线 Qwen3.8-Flash,API 每百万 Tokens 输入 0.8 元、输出 2.7 元、缓存命中 0.1 元。该模型为多模态 MoE 架构,千亿总参数仅激活 60 亿,引入 QSA 机制与 Gated Residual,在高缓存命中的 1M Tokens 长上下文场景中提速 8 倍以上。模型权重已在 Hugging Face 与魔搭社区开源,千问办公标准模式也已内置。

    推荐理由:原文列出了 Qwen3.8-Flash 的架构创新与分层价格,读者可据此评估长上下文 Agent 任务的调用成本。

8月26日周三
  1. 智谱 · 官方公众号83

    智谱上线并开源 GLM-5.3-Flash,前沿智能进入普惠时代

    智谱上线并开源 GLM-5.3-Flash(320B-A18B),这是 GLM-5 系列首个原生多模态模型,AA 综合智能指数取得 57 分,与 Claude Opus 4.8 持平,定价为 GLM-5.3 的 1/10、限时折扣内 1/20、Opus 4.8 的 1/40。

    推荐理由:原文给出与 Claude Opus 4.8 的能力与价格对照,以及混合注意力架构的降本路径,可据此评估前沿模型的成本走向。

8月24日周一
  1. 阿里云开发者74

    Wan3.0 正式上线千问AI平台

    视频生成模型 Wan3.0 正式上线千问AI平台,单次可生成30秒视频,并首次支持 doc、xls、ppt、pdf、md 等文档格式输入。自8月6日公测以来,Wan3.0 在跨镜头一致性、人物质感与真实世界还原方面获得短剧、广告、文旅等行业用户反馈。480P/720P/1080P 的 API 价格分别为 0.3/0.6/1.2 元/秒,8月24日至9月23日开启限时7折优惠。

    推荐理由:原文给出了 Wan3.0 的生成时长、文档输入能力与 API 定价,可据此判断视频生成模型在生产流程中的落地进展。

8月21日周五
  1. DeepSeek 更新日志75

    DeepSeek-V4-Flash-Vision-Exp 发布

    DeepSeek API 平台上线实验性多模态视觉理解模型 DeepSeek-V4-Flash-Vision-Exp,用户可通过 model='deepseek-v4-flash-vision-exp' 访问。

    推荐理由:原文列出了新模型与 DeepSeek-V4-Flash 及 Opus-4.8 的对比基准,读者可据此判断其在多模态 Agent 任务上的水平。

8月12日周三
  1. Google DeepMind85

    Google DeepMind 发布 SL2T 手语转文本模型,登陆 Pixel 11 的 Gboard 与 Live Transcribe

    Google DeepMind 发布大规模多语言手语转文本模型 SL2T,让手语 AI 首次走出实验室进入消费级产品:SL2T 驱动 Pixel 11 上 Gboard 与 Live Transcribe 的手语转文字功能,首发支持美国手语(ASL)转英语,更多设备与语言将陆续跟进。

    推荐理由:SL2T 以姿态关键点而非原始视频做端到端翻译,并进入 Gboard 与 Live Transcribe,可看作无障碍交互从实验室走向消费级产品的样本。

8月8日周六
  1. 翔宇工作流71

    LibTV+Seedance 2.5 实测:30 秒一镜到底,Vlog 真假难辨

    Seedance 2.5 发布,单段视频直出时长从 15 秒翻倍至 30 秒,支持两次视频延长、最长 90 秒,参考素材上限从 12 个提升到 50 个(30 张图片+10 段视频+10 段音频)。

    推荐理由:文章对比 Seedance 2.0 时代的长镜头拼接痛点,拆解 30 秒直出、片段重拍与智能引用如何改变 AI 视频制作流程。

7月30日周四
  1. Google DeepMind61

    Google DeepMind 在 Google Flow Music 发布 Lyria 3.5,改进音乐性、歌词、人声与创作控制

    Google DeepMind 发布最新音乐生成模型 Lyria 3.5,今日起在 Google Flow Music 中推出。模型在音乐性、歌词与人声三方面均有改进,歌词的提示词遵循度和结构感知提升,人声更真实且发音改善。用户可更方便地控制输出节奏与时长。

    推荐理由:官方列出了 Lyria 3.5 在音乐性、歌词与人声上的改进及节奏、时长控制,可据此对照 Google 音乐生成能力的当前水位。

7月28日周二
  1. Google DeepMind74

    Google DeepMind 发布 Gemini Robotics 2:为机器人带来全身智能

    Google DeepMind 发布 Gemini Robotics 2,通过三个模型为机器人带来全身智能、灵巧操作和多机协同能力。该系统可控制完整人形机器人执行耗时数分钟的多步任务,ER 2 推理模型已在 Google AI Studio 上线,On-Device 2 端侧模型仅需几小时即可适配新本体。

    推荐理由:官方公布了全身控制、灵巧操作与多机协同能力,并给出端侧几小时适配新本体的指标,适合评估具身智能进展。

6月9日周二
  1. Google DeepMind80

    Google DeepMind 发布 Gemma 4 12B:统一的无编码器多模态模型

    Google DeepMind 发布 Gemma 4 12B,一款可在笔记本本地运行的多模态模型。该模型采用无编码器统一架构,视觉与音频输入直接进入 LLM backbone,仅需 16GB VRAM 或统一内存即可运行,性能接近 26B MoE 模型。它是该系列首款支持原生音频输入的中型模型,已采用 Apache 2.0 许可证开源。

    推荐理由:官方给出了 16GB 内存即可本地运行的规格,以及与 26B MoE 模型的性能对比,便于开发者评估端侧部署方案。

5月18日周一
  1. Google DeepMind81

    Google DeepMind 发布 Gemini Omni Flash 模型

    Google DeepMind 发布 Gemini Omni 系列首款模型 Gemini Omni Flash,支持将图像、音频、视频和文本组合作为输入生成高质量视频。

    推荐理由:原文给出了 Gemini Omni Flash 的多模态输入与对话式编辑能力,读者可据此判断其视频生成工作流的变化。

5月17日周日
  1. Google DeepMind71

    Google 扩展内容透明度与验证工具,SynthID 验证进入 Search 与 Chrome

    Google 宣布扩展内容透明度与验证工具:SynthID 验证今天进入 Search,并将在未来几周扩展到 Chrome,C2PA Content Credentials 验证则从今天起在 Gemini app 推出。

    推荐理由:原文梳理了 SynthID 与 C2PA Content Credentials 在 Google 各产品线的落地进展,并说明 OpenAI 等厂商接入后如何扩大水印覆盖范围。

4月16日周四
4月13日周一
  1. Google DeepMind69

    Gemini Robotics-ER 1.6 发布:增强具身推理,驱动真实世界机器人任务

    Google DeepMind 发布 Gemini Robotics-ER 1.6,这是其推理优先具身推理模型的重大升级,即日起通过 Gemini API 与 Google AI Studio 向开发者开放,并提供配置与提示示例的开发者 Colab。

    推荐理由:原文给出相对上一代与 Gemini 3.0 Flash 的逐项基准对比,读者可据此判断具身推理在工业巡检场景的可用边界。

4月3日周五
  1. Google DeepMind85

    Google DeepMind 发布 Gemma 4 开源模型

    Google DeepMind 发布 Gemma 4 系列开源模型,包含 E2B、E4B、26B MoE 和 31B Dense 四种规格。该系列与 Gemini 3 同源,采用 Apache 2.0 许可证,31B 模型在 Arena AI 排行榜位列开源模型第三。模型支持多模态、长上下文及智能体工作流,E2B 和 E4B 专为移动和 IoT 设备设计。

    推荐理由:Google DeepMind 发布与 Gemini 3 同源的 Gemma 4 开源模型,读者可据此对比开源与闭源模型在端侧与智能体场景的能力边界。