跳到正文

#多模态

今日 0 条
5月18日周一
  1. Google DeepMind81

    Google DeepMind 发布 Gemini Omni Flash 模型

    Google DeepMind 发布 Gemini Omni 系列首款模型 Gemini Omni Flash,支持将图像、音频、视频和文本组合作为输入生成高质量视频。

    推荐理由:原文给出了 Gemini Omni Flash 的多模态输入与对话式编辑能力,读者可据此判断其视频生成工作流的变化。

5月17日周日
  1. Google DeepMind71

    Google 扩展内容透明度与验证工具,SynthID 验证进入 Search 与 Chrome

    Google 宣布扩展内容透明度与验证工具:SynthID 验证今天进入 Search,并将在未来几周扩展到 Chrome,C2PA Content Credentials 验证则从今天起在 Gemini app 推出。

    推荐理由:原文梳理了 SynthID 与 C2PA Content Credentials 在 Google 各产品线的落地进展,并说明 OpenAI 等厂商接入后如何扩大水印覆盖范围。

4月30日周四
4月21日周二
4月16日周四
4月13日周一
  1. Google DeepMind69

    Gemini Robotics-ER 1.6 发布:增强具身推理,驱动真实世界机器人任务

    Google DeepMind 发布 Gemini Robotics-ER 1.6,这是其推理优先具身推理模型的重大升级,即日起通过 Gemini API 与 Google AI Studio 向开发者开放,并提供配置与提示示例的开发者 Colab。

    推荐理由:原文给出相对上一代与 Gemini 3.0 Flash 的逐项基准对比,读者可据此判断具身推理在工业巡检场景的可用边界。

4月3日周五
  1. Google DeepMind85

    Google DeepMind 发布 Gemma 4 开源模型

    Google DeepMind 发布 Gemma 4 系列开源模型,包含 E2B、E4B、26B MoE 和 31B Dense 四种规格。该系列与 Gemini 3 同源,采用 Apache 2.0 许可证,31B 模型在 Arena AI 排行榜位列开源模型第三。模型支持多模态、长上下文及智能体工作流,E2B 和 E4B 专为移动和 IoT 设备设计。

    推荐理由:Google DeepMind 发布与 Gemini 3 同源的 Gemma 4 开源模型,读者可据此对比开源与闭源模型在端侧与智能体场景的能力边界。

3月29日周日
3月26日周四
  1. Google DeepMind72

    Gemini 3.1 Flash Live 发布:让语音 AI 更自然、更可靠

    Google DeepMind 发布 Gemini 3.1 Flash Live,这是其目前最高质量的音频与语音模型,旨在提升实时对话的速度与自然度。该模型在 ComplexFuncBench Audio 上得分 90.8%,支持 Gemini Live 对话时长翻倍,并推动 Search Live 扩展至 200 多个国家/地区,所有生成的音频均带有 SynthID 水印。

    推荐理由:相比前代模型,Gemini 3.1 Flash Live 在语音精确度、延迟与上下文长度上均有提升,并推动 Search Live 扩展至全球。

3月24日周二
  1. Fragmented · AI Developer Podcast42

    图像扩散模型如何工作:20 分钟详解

    Fragmented 播客第 308 期用 20 分钟讲解了图像扩散模型的工作原理。节目从米开朗基罗与 Stable Diffusion 的关联切入,说明图像生成与已有文本模型的共通之处。内容还涉及 VAE、Stable Diffusion 背后的 Latent Diffusion Models 论文,以及 LAION-5B 和 WebLI 等图像训练数据集。

3月17日周二
  1. OpenAI News76

    OpenAI 发布 GPT-5.4 mini 与 nano

    OpenAI 发布 GPT-5.4 mini 和 nano,它们是 GPT-5.4 的更小更快版本。两款模型针对编码、工具调用、多模态推理以及大规模 API 和子智能体负载进行了优化。

    推荐理由:原文点明 mini 和 nano 相对 GPT-5.4 更小更快,并面向编码、工具调用与大规模 API 负载优化,可据此判断其在成本敏感场景中的定位。

3月16日周一
3月15日周日
  1. 42 章经69

    曲凯对谈 Albert:优化胜率而非赔率,把一件事做到理论上该有的样子

    42章经曲凯对谈连续创业者 Albert,聊他从优化赔率转向优化胜率的创业思路,以及 AI 创业的方向判断。他认为 AI 工具类产品确定性最高,娱乐互动内容商业化仍难判断,并指出 Higgsfield 的成功在于把每个阶段可交付的能力封装成好卖的产品点。展望 2026 年,他更看好多模态理解能力的提升,以及 coding 平权带来的新交互机会。

    推荐理由:访谈梳理了从优化赔率转向优化胜率的创业思路,并给出 AI 工具与娱乐产品在模型成本和商业化上的取舍判断。

3月10日周二
  1. 42 章经58

    张阳复盘 Wanaka:用 AI Native 引擎做下一个 Roblox

    42章经访谈 Wanaka 创始人张阳,复盘其 AI × 游戏 × 社交产品 Wanaka 的实践与判断。创作侧做带完整图形界面的 AI Native 引擎,约 40%-50% 的工作留给用户,并用 Agent 框架让用户以自然语言实现复杂游戏逻辑;消费侧放弃上下滑与推荐算法,选择熟人社交分发,认为多数 AIGC 内容的去向是给朋友看。产品已开放内测,可在 App Store 搜索「瓦那卡」下载。

3月6日周五
3月4日周三
  1. Google DeepMind70

    Gemini 3.1 Flash-Lite 发布:主打大规模低成本智能

    Google DeepMind 发布 Gemini 3.1 Flash-Lite,这是 Gemini 3 系列中最快且最具成本效益的模型。该模型已通过 Google AI Studio 和 Vertex AI 推出预览版,输入 token 价格为 $0.25/1M,输出为 $1.50/1M。

    推荐理由:官方给出其相对 2.5 Flash 的速度提升与 token 定价,读者可据此评估高频工作流的成本变化。

2月27日周五
2月19日周四
  1. Google DeepMind81

    Gemini 应用上线 Lyria 3 音乐生成功能

    Google DeepMind 在 Gemini 应用中推出最新的生成式音乐模型 Lyria 3,用户通过描述想法或上传照片即可在数秒内生成 30 秒的高质量音乐曲目。

    推荐理由:原文说明了 Lyria 3 的文本与图片生成音乐能力及 SynthID 水印验证,读者可据此判断其在 Gemini 应用中的实际可用范围。

1月30日周五
  1. Google DeepMind64

    Google DeepMind 向美国 Google AI Ultra 用户开放 Project Genie 交互世界原型

    Google DeepMind 开始向美国 Google AI Ultra 订阅用户(18 岁以上)滚动开放 Project Genie,这是一个基于 Genie 3、Nano Banana Pro 和 Gemini 的实验性研究原型网页应用,支持用户用文本或图片创建可探索的交互世界、实时生成前行路径,并对已有世界进行混编与视频下载。

    推荐理由:原文列出了世界素描、探索、混编三大能力与生成时长等限制,可据此判断世界模型从研究走向消费级体验的成熟度。

12月24日周三
12月17日周三
  1. Google DeepMind84

    Google 发布 Gemini 3 Flash:为速度而生的前沿智能

    Google DeepMind 发布 Gemini 3 Flash,以低成本提供前沿推理与多模态能力。该模型在 GPQA Diamond 得分 90.4%,SWE-bench Verified 达 78%,速度为 Gemini 2.5 Pro 的 3 倍,已在 Gemini API、Vertex AI 及 Gemini 应用中推出。

    推荐理由:官方发布 Gemini 3 Flash,以更低成本和更快速度提供接近 Pro 级的推理与多模态能力,适合关注模型选型与成本优化的读者。

12月15日周一
12月11日周四
  1. OpenAI News81

    OpenAI 发布 GPT-5.2

    GPT-5.2 是 OpenAI 面向日常专业工作的最先进前沿模型,具备最先进的推理、长上下文理解、编码和视觉能力,可在 ChatGPT 和 OpenAI API 中使用,以支持更快、更可靠的智能体工作流。

    推荐理由:官方公布了 GPT-5.2 在推理、长上下文、编码和视觉上的能力定位,可据此评估它对现有智能体工作流的替换价值。

12月9日周二
11月24日周一
11月20日周四
  1. Google DeepMind72

    Google 将 AI 图片验证引入 Gemini 应用

    Google 在 Gemini 应用中上线 AI 图片验证功能,用户上传图片并提问后,系统会检查 SynthID 水印并结合推理返回该图片是否由 Google AI 生成或编辑。

    推荐理由:官方说明给出 SynthID 水印验证在 Gemini 应用中的使用方式与后续扩展计划,可据此判断 AI 内容溯源工具的落地节奏。

  2. Google DeepMind79

    Google DeepMind 发布 Nano Banana Pro(Gemini 3 Pro Image)图像生成与编辑模型

    Google DeepMind 发布 Nano Banana Pro(Gemini 3 Pro Image),一款基于 Gemini 3 Pro 构建的高保真图像生成与编辑模型,现已在 Google AI Studio 和 Vertex AI 以付费预览形式推出。

    推荐理由:官方给出了新模型相对 Gemini 2.5 Flash Image 的画质与控制能力升级,以及付费预览的开放入口,开发者可据此判断是否迁移到更高画质的图像生成流程。

11月19日周三
  1. Google DeepMind90

    Google DeepMind 发布 Gemini 3 Pro 模型

    Google DeepMind 发布 Gemini 3 Pro,称其在各大基准上超越前代,编码能力超越 2.5 Pro。模型预览版定价为 $2/百万输入 token 和 $12/百万输出 token(200k token 以内),可通过 Gemini API、Google AI Studio 和 Vertex AI 使用。

    推荐理由:官方公布了 Gemini 3 Pro 的基准成绩、定价与开发者工具集成,读者可据此评估其在编码和多模态任务上的实际可用性。

  2. Google DeepMind92

    Google 正式发布 Gemini 3 模型,推出 Gemini 3 Pro 与 Deep Think 模式

    Google 正式发布 Gemini 3,首先推出 Gemini 3 Pro 预览版,号称在多模态理解、推理和编码方面达到业界最先进水平,LMArena 得分 1501 Elo。同时推出增强推理模式 Gemini 3 Deep Think 以及全新的智能体开发平台 Google Antigravity。

    推荐理由:官方公布 Gemini 3 Pro 在推理、多模态和编码基准上全面超越 2.5 Pro,并推出 Deep Think 模式与 Antigravity 开发平台。

11月13日周四
  1. Google DeepMind66

    SIMA 2:在虚拟 3D 世界中与你共同游玩、推理与学习的智能体

    Google DeepMind 发布 SIMA 2,一个以 Gemini 模型为核心的通用 AI 智能体,从指令跟随者升级为可交互的游戏伙伴。SIMA 2 能理解用户的高层目标、对话说明自己的意图,并通过试错与 Gemini 反馈自我改进;在从未训练过的游戏(如 ASKA 和 MineDojo)以及 Genie 3 生成的全新 3D 世界中也能泛化行动。

    推荐理由:SIMA 2 从指令跟随者进化为能推理、会交流并自我改进的交互式伙伴,为具身智能走向通用性提供了可参照的路径。

11月11日周二
9月30日周二
  1. OpenAI News73

    OpenAI 发布 Sora 2 系统卡

    OpenAI 发布 Sora 2 系统卡,介绍其新的视频与音频生成模型。该模型在 Sora 基础上实现了更准确的物理效果、更清晰的真实感与音画同步,并增强了可控性与风格多样性。

    推荐理由:官方系统卡概述 Sora 2 在物理准确度、真实感与音画同步上的提升,读者可据此对照前代视频模型评估其能力变化。

8月19日周二
  1. 通义千问 · 官方博客73

    Qwen-Image-Edit 发布:基于 Qwen-Image 的全能图像编辑模型

    通义千问推出 Qwen-Image-Edit,基于 20B 的 Qwen-Image 进一步训练,支持语义与外观双重编辑以及中英文精准文字编辑,在多个公开基准测试中达到 SOTA。模型将输入图像同时送入 Qwen2.5-VL 与 VAE Encoder,分别实现视觉语义控制与视觉外观控制,用户可在 Qwen Chat 的“图像编辑”功能中体验,还能通过链式编辑逐步修正生成图像中的错字。

    推荐理由:原文展示了语义与外观双重编辑和链式修字流程,读者可据此判断它能否融入现有视觉内容创作工作流。

8月16日周六
8月12日周二
  1. 机器学习初学者71

    智谱开源 GLM-4.5V:41 个榜单 SOTA,支持看图定位、视频理解与 UI 转 Code

    智谱开源多模态视觉推理模型 GLM-4.5V,基于 GLM-4.5-Air 基座、沿用 GLM-4.1V-Thinking 结构,总参数 106B、激活参数 12B,在 42 个公开视觉多模态榜单中 41 项达到同级开源模型 SOTA。

    推荐理由:GLM-4.5V 在 42 个公开榜单中 41 项达到同级开源 SOTA,并给出 106B 总参数、12B 激活参数与 API 价格,便于与同类多模态模型横向比较。

8月7日周四
  1. OpenAI News84

    OpenAI 发布 GPT-5

    OpenAI 发布 GPT-5,称其为迄今最好的 AI 系统,在编码、数学、写作、健康和视觉感知等领域达到 SOTA 表现。官方称 GPT-5 的智能水平相对此前所有模型有显著提升。

    推荐理由:原文给出了 GPT-5 相对前代模型的智能提升与各领域表现,读者可据此判断其在编码、数学、写作等场景的适用性。

8月4日周一
  1. 通义千问 · 官方博客80

    通义千问推出 Qwen-Image:擅长文字渲染的创作利器

    通义千问推出 20B MMDiT 图像生成基础模型 Qwen-Image,这是该系列首个图像生成模型。模型在复杂中英文本渲染和精确图像编辑上取得显著进展,在 GenEval、DPG、GEdit 等多个公开基准测试中达到 SOTA,其中文文本渲染表现大幅领先现有最先进模型。

    推荐理由:官方博客详述了 Qwen-Image 在中英复杂文本渲染上的 SOTA 表现,读者可据此判断其能否解决图像生成中的文字乱码痛点。