跳到正文

多模态

文本之外的能力:视觉理解、图文混合、音视频输入输出的模型与产品进展。

最新精选

第 61–80 条 · 共 93 条
3月29日周日
3月26日周四
  1. Google DeepMind72

    Gemini 3.1 Flash Live 发布:让语音 AI 更自然、更可靠

    Google DeepMind 发布 Gemini 3.1 Flash Live,这是其目前最高质量的音频与语音模型,旨在提升实时对话的速度与自然度。该模型在 ComplexFuncBench Audio 上得分 90.8%,支持 Gemini Live 对话时长翻倍,并推动 Search Live 扩展至 200 多个国家/地区,所有生成的音频均带有 SynthID 水印。

    推荐理由:相比前代模型,Gemini 3.1 Flash Live 在语音精确度、延迟与上下文长度上均有提升,并推动 Search Live 扩展至全球。

3月17日周二
  1. OpenAI News76

    OpenAI 发布 GPT-5.4 mini 与 nano

    OpenAI 发布 GPT-5.4 mini 和 nano,它们是 GPT-5.4 的更小更快版本。两款模型针对编码、工具调用、多模态推理以及大规模 API 和子智能体负载进行了优化。

    推荐理由:原文点明 mini 和 nano 相对 GPT-5.4 更小更快,并面向编码、工具调用与大规模 API 负载优化,可据此判断其在成本敏感场景中的定位。

3月15日周日
  1. 42 章经69

    曲凯对谈 Albert:优化胜率而非赔率,把一件事做到理论上该有的样子

    42章经曲凯对谈连续创业者 Albert,聊他从优化赔率转向优化胜率的创业思路,以及 AI 创业的方向判断。他认为 AI 工具类产品确定性最高,娱乐互动内容商业化仍难判断,并指出 Higgsfield 的成功在于把每个阶段可交付的能力封装成好卖的产品点。展望 2026 年,他更看好多模态理解能力的提升,以及 coding 平权带来的新交互机会。

    推荐理由:访谈梳理了从优化赔率转向优化胜率的创业思路,并给出 AI 工具与娱乐产品在模型成本和商业化上的取舍判断。

3月4日周三
  1. Google DeepMind70

    Gemini 3.1 Flash-Lite 发布:主打大规模低成本智能

    Google DeepMind 发布 Gemini 3.1 Flash-Lite,这是 Gemini 3 系列中最快且最具成本效益的模型。该模型已通过 Google AI Studio 和 Vertex AI 推出预览版,输入 token 价格为 $0.25/1M,输出为 $1.50/1M。

    推荐理由:官方给出其相对 2.5 Flash 的速度提升与 token 定价,读者可据此评估高频工作流的成本变化。

2月27日周五
2月19日周四
  1. Google DeepMind81

    Gemini 应用上线 Lyria 3 音乐生成功能

    Google DeepMind 在 Gemini 应用中推出最新的生成式音乐模型 Lyria 3,用户通过描述想法或上传照片即可在数秒内生成 30 秒的高质量音乐曲目。

    推荐理由:原文说明了 Lyria 3 的文本与图片生成音乐能力及 SynthID 水印验证,读者可据此判断其在 Gemini 应用中的实际可用范围。

1月30日周五
  1. Google DeepMind64

    Google DeepMind 向美国 Google AI Ultra 用户开放 Project Genie 交互世界原型

    Google DeepMind 开始向美国 Google AI Ultra 订阅用户(18 岁以上)滚动开放 Project Genie,这是一个基于 Genie 3、Nano Banana Pro 和 Gemini 的实验性研究原型网页应用,支持用户用文本或图片创建可探索的交互世界、实时生成前行路径,并对已有世界进行混编与视频下载。

    推荐理由:原文列出了世界素描、探索、混编三大能力与生成时长等限制,可据此判断世界模型从研究走向消费级体验的成熟度。

12月17日周三
  1. Google DeepMind84

    Google 发布 Gemini 3 Flash:为速度而生的前沿智能

    Google DeepMind 发布 Gemini 3 Flash,以低成本提供前沿推理与多模态能力。该模型在 GPQA Diamond 得分 90.4%,SWE-bench Verified 达 78%,速度为 Gemini 2.5 Pro 的 3 倍,已在 Gemini API、Vertex AI 及 Gemini 应用中推出。

    推荐理由:官方发布 Gemini 3 Flash,以更低成本和更快速度提供接近 Pro 级的推理与多模态能力,适合关注模型选型与成本优化的读者。

12月11日周四
  1. OpenAI News81

    OpenAI 发布 GPT-5.2

    GPT-5.2 是 OpenAI 面向日常专业工作的最先进前沿模型,具备最先进的推理、长上下文理解、编码和视觉能力,可在 ChatGPT 和 OpenAI API 中使用,以支持更快、更可靠的智能体工作流。

    推荐理由:官方公布了 GPT-5.2 在推理、长上下文、编码和视觉上的能力定位,可据此评估它对现有智能体工作流的替换价值。

11月20日周四
  1. Google DeepMind72

    Google 将 AI 图片验证引入 Gemini 应用

    Google 在 Gemini 应用中上线 AI 图片验证功能,用户上传图片并提问后,系统会检查 SynthID 水印并结合推理返回该图片是否由 Google AI 生成或编辑。

    推荐理由:官方说明给出 SynthID 水印验证在 Gemini 应用中的使用方式与后续扩展计划,可据此判断 AI 内容溯源工具的落地节奏。

  2. Google DeepMind79

    Google DeepMind 发布 Nano Banana Pro(Gemini 3 Pro Image)图像生成与编辑模型

    Google DeepMind 发布 Nano Banana Pro(Gemini 3 Pro Image),一款基于 Gemini 3 Pro 构建的高保真图像生成与编辑模型,现已在 Google AI Studio 和 Vertex AI 以付费预览形式推出。

    推荐理由:官方给出了新模型相对 Gemini 2.5 Flash Image 的画质与控制能力升级,以及付费预览的开放入口,开发者可据此判断是否迁移到更高画质的图像生成流程。

11月19日周三
  1. Google DeepMind90

    Google DeepMind 发布 Gemini 3 Pro 模型

    Google DeepMind 发布 Gemini 3 Pro,称其在各大基准上超越前代,编码能力超越 2.5 Pro。模型预览版定价为 $2/百万输入 token 和 $12/百万输出 token(200k token 以内),可通过 Gemini API、Google AI Studio 和 Vertex AI 使用。

    推荐理由:官方公布了 Gemini 3 Pro 的基准成绩、定价与开发者工具集成,读者可据此评估其在编码和多模态任务上的实际可用性。

  2. Google DeepMind92

    Google 正式发布 Gemini 3 模型,推出 Gemini 3 Pro 与 Deep Think 模式

    Google 正式发布 Gemini 3,首先推出 Gemini 3 Pro 预览版,号称在多模态理解、推理和编码方面达到业界最先进水平,LMArena 得分 1501 Elo。同时推出增强推理模式 Gemini 3 Deep Think 以及全新的智能体开发平台 Google Antigravity。

    推荐理由:官方公布 Gemini 3 Pro 在推理、多模态和编码基准上全面超越 2.5 Pro,并推出 Deep Think 模式与 Antigravity 开发平台。

11月13日周四
  1. Google DeepMind66

    SIMA 2:在虚拟 3D 世界中与你共同游玩、推理与学习的智能体

    Google DeepMind 发布 SIMA 2,一个以 Gemini 模型为核心的通用 AI 智能体,从指令跟随者升级为可交互的游戏伙伴。SIMA 2 能理解用户的高层目标、对话说明自己的意图,并通过试错与 Gemini 反馈自我改进;在从未训练过的游戏(如 ASKA 和 MineDojo)以及 Genie 3 生成的全新 3D 世界中也能泛化行动。

    推荐理由:SIMA 2 从指令跟随者进化为能推理、会交流并自我改进的交互式伙伴,为具身智能走向通用性提供了可参照的路径。

9月30日周二
  1. OpenAI News73

    OpenAI 发布 Sora 2 系统卡

    OpenAI 发布 Sora 2 系统卡,介绍其新的视频与音频生成模型。该模型在 Sora 基础上实现了更准确的物理效果、更清晰的真实感与音画同步,并增强了可控性与风格多样性。

    推荐理由:官方系统卡概述 Sora 2 在物理准确度、真实感与音画同步上的提升,读者可据此对照前代视频模型评估其能力变化。

8月19日周二
  1. 通义千问 · 官方博客73

    Qwen-Image-Edit 发布:基于 Qwen-Image 的全能图像编辑模型

    通义千问推出 Qwen-Image-Edit,基于 20B 的 Qwen-Image 进一步训练,支持语义与外观双重编辑以及中英文精准文字编辑,在多个公开基准测试中达到 SOTA。模型将输入图像同时送入 Qwen2.5-VL 与 VAE Encoder,分别实现视觉语义控制与视觉外观控制,用户可在 Qwen Chat 的“图像编辑”功能中体验,还能通过链式编辑逐步修正生成图像中的错字。

    推荐理由:原文展示了语义与外观双重编辑和链式修字流程,读者可据此判断它能否融入现有视觉内容创作工作流。

8月12日周二
  1. 机器学习初学者71

    智谱开源 GLM-4.5V:41 个榜单 SOTA,支持看图定位、视频理解与 UI 转 Code

    智谱开源多模态视觉推理模型 GLM-4.5V,基于 GLM-4.5-Air 基座、沿用 GLM-4.1V-Thinking 结构,总参数 106B、激活参数 12B,在 42 个公开视觉多模态榜单中 41 项达到同级开源模型 SOTA。

    推荐理由:GLM-4.5V 在 42 个公开榜单中 41 项达到同级开源 SOTA,并给出 106B 总参数、12B 激活参数与 API 价格,便于与同类多模态模型横向比较。