推测式工具调用：如何降低语音 AI 智能体的延迟

推测式工具调用让语音智能体在用户说话时就开始执行工具调用，从而大幅降低延迟。该机制在用户说话时预测工具调用，并在轮次结束时验证命中缓存结果，且不影响 LLM 的最终决策。相关研究报告显示，该方法在实时云 API 上可实现 1.3 到 1.7 倍的加速。