像改文字一样改语音:火山引擎全新语音内容编辑模型
火山引擎多媒体实验室推出全新语音内容编辑模型,用户输入原始音频并用一句自然语言说明要改什么,模型即可直接改写声音中说出的内容,同时尽量保留原说话人的音色、韵律和上下文衔接。
推荐理由:原文将语音编辑从修音质推进到改内容,并对照 Descript 与 Meta Voicebox 说明该模型补上了内容可编辑这一环。
火山引擎多媒体实验室推出全新语音内容编辑模型,用户输入原始音频并用一句自然语言说明要改什么,模型即可直接改写声音中说出的内容,同时尽量保留原说话人的音色、韵律和上下文衔接。
推荐理由:原文将语音编辑从修音质推进到改内容,并对照 Descript 与 Meta Voicebox 说明该模型补上了内容可编辑这一环。
美国旧金山 AI 视频公司 Tavus 发布新模型 Griffin-Lite,在 54 名受试者参与的一分钟视频通话测试中,有 26 人(48%)误以为对方是真人。上一代系统在同一测试流程下仅有 2.4% 的受试者作出同样判断。Tavus 称这是首个通过“视频图灵测试”的实时视频对话模型,Griffin-Lite 可在双方同时说话时实时附和或打断,如同真人聊天。
10 月 1 日,美国 AI 视频公司 Tavus 发布 Griffin 模型,并将其定义为全球第一个「人类交互模型」;一分钟视频通话测试中 54 名参与者有 26 人事后认为自己在和真人聊天,比例接近 48%,而上一代系统通过率仅 2.4%。
推荐理由:文章在宣传效果之外核对了样本量、心理暗示与基准分数,读者可以据此更冷静地判断端到端架构带来的实际进步。
MiniMax 正式发布通用全模态生成模型 H3,支持多模态上下文统一理解,可输出最高 15s 2K 分辨率的原生双声道音视频。该模型在指令遵循、文字与品牌信息呈现及 V2V Motion Transfer 等方面表现出色,2K 分辨率下每秒价格不到主流模型的 1/3。官方计划在未来几天内开放模型权重,以推动开源社区发展。
推荐理由:MiniMax 发布全模态生成模型 H3,支持 15s 2K 原生双声道音视频,计划开放权重,为多模态创作提供了新的高性价比选项。
Microsoft AI 发布实时转录模型 MAI-Transcribe-2-Streaming 及文本转语音模型 MAI-Voice-2.1 与 MAI-Voice-2.1-Flash。
推荐理由:原文给出了准确率排名、延迟、支持语言数和定价等具体指标,读者可以据此与同类语音模型做横向比较。
Tavus 发布 Griffin,该公司称之为首个“人机交互模型”(HIM),可在实时视频对话中同时理解与生成语音、面部表情、语气、手势和停顿。在 Tavus 的测试中,48% 的参与者在进行一分钟视频通话后认为 Griffin 是真人,此前系统最高仅 2%;在 Nvidia 的独立测试中 Griffin 得分 3.83,人类为 3.92,此前最佳 AI 模型为 2.80。
火山引擎多媒体实验室发布指令驱动的语音内容编辑模型,用户只需用自然语言说明“把什么改成什么”,模型即可在保持原音色、韵律和上下文衔接的前提下完成局部内容修改,不必整段重录。
Google DeepMind 发布 Gemini 3.8 Flash TTS 与 Gemini 3.8 Flash-Lite TTS 两款文本转语音模型。前者侧重深度创意指导,支持自然语言生成定制声音、30秒语音复刻与逐句表演控制;后者面向高并发、低成本的规模化应用。
推荐理由:原文清晰对比了两款新 TTS 模型的定位与功能,并给出基准表现与安全机制,便于开发者评估选型。
Google DeepMind 发布 Gemini 3.8 Live 与 Gemini 3.8 Live Extended Thinking 两款实时语音对话模型,前者面向规模与成本效率,后者面向高复杂度任务的多步推理。
推荐理由:原文给出了两款实时语音对话模型的能力定位与基准成绩,读者可据此判断它们在语音智能体场景中的适用性。
阶跃正式发布 StepAudio 3 系列语音模型,包含 StepAudio 3 Realtime、ASR、TTS、Gen、Music 五款,均已上线阶跃星辰开放平台。
推荐理由:官方发布稿逐一给出五款模型的能力定位与 Artificial Analysis 榜单数据,读者可据此判断语音模型正从单点能力竞争走向完整交互与创作。
Google DeepMind 发布语音转文本模型 Gemini 3.5 Transcribe,提供实时流式与预录制两种 API。据 Artificial Analysis 测量,其流式平均词错率为 4.0%,非流式为 2.6%,最终转录时间较 Chirp 3 缩短 70%。模型支持 85 种以上语言、自定义词汇表与函数调用,现已通过 Google AI Studio 等平台推出公开预览。
推荐理由:相比上一代 Chirp 3,Gemini 3.5 Transcribe 将流式转录错误率降至 4.0%,最终转录时间缩短 70%,并支持函数调用与自定义词汇表。
Qwen-Audio-3.0 系列语音模型正式上线千问 AI 平台,开发者可通过 API 服务调用,也可订阅 Token Plan 使用。
腾讯混元发布新一代语音识别模型 Hy ASR 3.0 preview,基于 Hy3 基座融合高精度识别与深度语义理解。模型在多语种开源评测集 WER 控制在 3% 左右,中文普通话 3.34%、英语 2.62%、粤语 3.12%,并支持热词注入、方言识别与复杂声学场景优化。目前已上线腾讯云提供 API 服务,元宝已完成首发上线。
OpenAI 发布新一代语音模型 GPT-Live,现已驱动 ChatGPT Voice,面向更自然的人机语音交互。
Google DeepMind 发布音频模型 Gemini 3.5 Live Translate,支持 70+ 语言的近实时语音到语音翻译,可保留说话者的语调、节奏和音高,连续生成且全程仅比说话者滞后几秒。
推荐理由:官方公布了 70+ 语言与连续生成机制,并开放 Gemini Live API 等多端入口,可据此判断实时语音翻译在会议和通话场景的可用性变化。
OpenAI 在 API 中推出新的实时语音模型,可对语音进行推理、翻译和转录,带来更自然、更智能的语音体验。
Google DeepMind 发布 Gemini 3.1 Flash TTS 文本转语音模型,在 Artificial Analysis TTS 榜单取得 Elo 1211,支持 70+ 语言、原生多人对话,并引入 audio tags 以自然语言精细控制语音风格、节奏与表达。
推荐理由:原文给出了 Elo 1211 的榜单分数与 audio tags 的具体用法,读者可据此判断它相对现有 TTS 方案的可控性优势。
Google DeepMind 发布 Gemini 3.1 Flash Live,这是其目前最高质量的音频与语音模型,旨在提升实时对话的速度与自然度。该模型在 ComplexFuncBench Audio 上得分 90.8%,支持 Gemini Live 对话时长翻倍,并推动 Search Live 扩展至 200 多个国家/地区,所有生成的音频均带有 SynthID 水印。
推荐理由:相比前代模型,Gemini 3.1 Flash Live 在语音精确度、延迟与上下文长度上均有提升,并推动 Search Live 扩展至全球。
Google DeepMind 发布 Lyria 3 Pro,支持创作最长 3 分钟的曲目,能理解音乐结构并通过提示词指定前奏、主歌、副歌和桥段。该模型已在 Vertex AI 公开预览,并接入 Google AI Studio、Gemini app、Google Vids 与 ProducerAI 等更多产品。
推荐理由:官方说明了 Lyria 3 Pro 的 3 分钟曲目长度与结构感知能力,并给出各端上线入口,读者可据此判断音乐生成工作流的变化。
本期 AIGC Weekly 汇总上周 AI 领域主要发布:Anthropic 推出 Claude Sonnet 4.6 模型与 Claude Code Security 安全工具,谷歌发布 Gemini 3.1 Pro 与 Gemini Deep Think 3。
MiniMax 正式推出语音大模型 Speech 2.8,首次实现原生语气词支持,并带来高精度音色还原、录音棚级音质与跨语言表现改善。仅需 10 秒原声片段即可完成音色克隆,模型已全面上线。
本期 AIGC Weekly 汇总了上周 AI 领域的核心发布。谷歌更新 Gemini 2.5 系列 TTS 与 Native Audio 模型,OpenAI 发布 GPT-5.2,Runway 推出 Gen 4.5 与 GWM 系列世界模型,Mistral 开源 Devstral 2 并发布 Mistral Vibe CLI。
Google DeepMind 发布更新版 Gemini 2.5 Flash Native Audio 模型,提升复杂工作流处理、指令遵循和多轮对话能力。该模型已在 Google AI Studio、Vertex AI、Gemini Live 和 Search Live 上线。
推荐理由:原文列出了音频模型在函数调用和指令遵循上的基准提升,并说明实时语音翻译的语言覆盖范围,便于评估其在语音场景的可用性。
OpenAI 在 API 中推出新一代音频模型,开发者首次可以指示文本转语音模型以特定方式说话,例如像有同理心的客服一样表达,为语音智能体解锁新的定制能力。
推荐理由:原文介绍了文本转语音模型新增的指令式语气定制能力,开发者可据此判断语音智能体的定制空间。
OpenAI 训练并开源了名为 Whisper 的神经网络,称其在英语语音识别上的鲁棒性和准确率接近人类水平。
推荐理由:Whisper 以开源形式发布,读者可直接获取模型并评估其在英语语音识别场景中的实际表现。
OpenAI 发布 Jukebox,这是一个能按多种流派和艺人风格生成原始音频音乐、包括简单演唱的神经网络。官方同时开源了模型权重和代码,并发布了一款用于浏览生成样本的工具。
推荐理由:原文给出了模型按流派和艺人风格生成原始音频的能力,以及开源权重、代码和试听工具,读者可据此判断它在音乐创作流程中的可用性。
OpenAI 发布 MuseNet,这是一个深度神经网络,可生成 4 分钟、含 10 种乐器的乐曲,并融合从乡村、莫扎特到披头士的风格。它没有被显式编程音乐知识,而是通过学习预测数十万 MIDI 文件中的下一个 token,自己发现和声、节奏与风格规律。MuseNet 使用与 GPT-2 相同的通用无监督技术,即一个训练来预测序列中下一个 token 的大规模 Transformer 模型。