跳到正文

评测基准

模型到底谁强:Benchmark 成绩、评测方法论争议与排行榜变化的持续记录。

最新精选

第 1–12 条 · 共 12 条
10月14日周三
  1. AWS Machine Learning Blog78

    在 Amazon Bedrock 上用 Grok 4.7 构建长周期智能体

    AWS 官方博客介绍在 Amazon Bedrock 上用 Grok 4.7 构建工具调用智能体,作者设计三个均有唯一正确答案的任务,在四个推理档位下各跑六次共 72 次运行,答对 67 次,xhigh 档 18 次全部正确。

    推荐理由:文章给出了可复用的推理档位评测方法,读者能据此在自己的 Agent 任务上权衡正确率与 token 成本。

10月10日周六
  1. Simon Willison68

    Simon Willison 用 Codex 语音模式构建博客 Newsletters 页面

    Simon Willison 今天为博客上线了 Newsletters 页面,该功能几乎全部通过 ChatGPT 桌面端 Codex 语音模式(GPT-6 Astra High)在做饭的约半小时内口述完成。

    推荐理由:作者完整记录了用 Codex 语音模式配合本地预览驱动编码智能体的过程,读者可据此判断该模式是否适合自己的多任务开发场景。

10月3日周六
  1. The Verge · AI68

    OpenAI Dot 智能体上手:更像企业级软件,也能帮你点晚餐

    The Verge 作者 Allison Johnson 实测 OpenAI 本周发布的 Dot 智能体,结论是它更像企业级办公软件而非个人购物助手。在预约宽带安装、登录 Ikea 账号等任务中 Dot 多次卡在安全校验,需要人工接管浏览器,顺畅度不如 Meta Muse 和 Instinct;但获得作者电脑访问权限后,它顺利完成了个人网站改版和社交媒体视频剪辑。

    推荐理由:作者实测后指出 Dot 更像企业级办公软件,在安全校验环节需要更多人工接管,顺畅度不如 Muse 和 Instinct。

9月30日周三
9月29日周二
  1. 爱范儿70

    可灵 4.0 首发实测,国产 AI 视频再次掀桌?

    可灵 AI 拿出 Kling 4.0 大版本更新,主打真实、可控、专业,将于 10 月正式上线,Kling 4.0 Flash 已于 9 月 28 日率先开放小范围体验。

    推荐理由:原文把 Kling 4.0 的 10-bit HDR 输出与主流 8-bit 方案对比,并给出多参考素材的提示词分工技巧,可直接迁移到自己的视频生成流程。

9月21日周一
  1. X65

    用 Ling-3.0-flash-VL 接管运营复盘中最烦的图表读数环节

    作者用自己 X 账号的后台截图实测了蚂蚁开源的 Ling-3.0-flash-VL,验证它在细粒度图表读数上的表现。底部 11 张卡片数值全部读对,双 Y 轴图 9 天 New follows 全部命中,跌幅前三名(Shares -100%、Bookmarks -84%、Likes -72%)排序正确,像素级核对后绝大多数误差在个位数以内。

    推荐理由:作者用自己真实的 X 后台截图做像素级核对,验证了轻量多模态模型在细粒度图表读数上的可用性,也给同类重复劳动提供了可迁移的验证方法。

9月11日周五
  1. X66

    豆包工作新功能实测:AI直接改本地Excel,本地云端一键切换

    作者实测豆包工作 2.28.12 新功能,AI可直接修改本地电脑上的Excel文件并在原地保存,同一对话还能一键切换本地与云端继续执行任务。作者验证修改后的文件保留了原公式、条件格式与图表,切换云端时上下文与文件均保持连贯。目前该功能支持PPT和Excel,Word尚未上线。

    推荐理由:作者实测豆包工作新功能,展示AI直接修改本地Excel与本地云端无缝切换的能力,为办公自动化提供可参考的实践样本。

9月10日周四
  1. X66

    继 UU 远程后,网易又整了一个识别速度快到没朋友的 AI 语音输入法「叭哥说」

    网易有道上线 AI 语音输入法「叭哥说」,作者用同一段录音实测,其 E2E 平均识别耗时 1683ms、P95 为 2134ms,基本上一松开录制按钮结果就出来了。它用 ASR 识别与纠错润色双模型协作,支持工位级小声拾音、个人词典导入即时生效与多语言翻译;横向对比中识别速度为豆包 > 叭哥说 = 闪电说 > Typeless,而 AI 整理能力优于偏转写的豆包输入法。

    推荐理由:作者用同一段录音横向对比四款 AI 语音输入法的识别速度与整理能力,并附叭哥说的延迟数据与专项测试,便于按需选型。

8月8日周六
  1. 翔宇工作流71

    LibTV+Seedance 2.5 实测:30 秒一镜到底,Vlog 真假难辨

    Seedance 2.5 发布,单段视频直出时长从 15 秒翻倍至 30 秒,支持两次视频延长、最长 90 秒,参考素材上限从 12 个提升到 50 个(30 张图片+10 段视频+10 段音频)。

    推荐理由:文章对比 Seedance 2.0 时代的长镜头拼接痛点,拆解 30 秒直出、片段重拍与智能引用如何改变 AI 视频制作流程。

8月6日周一
  1. OpenAI News77

    OpenAI Five 公布 Dota 对战基准结果

    昨天,OpenAI Five 在现场观众和 10 万名同步直播观众面前,以三局两胜击败了一支由 99.95 百分位 Dota 玩家组成的队伍:Blitz、Cap、Fogged、Merlini 和 MoonMeander,其中四人曾有职业 Dota 比赛经历。

    推荐理由:原文记录了 OpenAI Five 击败高水平 Dota 玩家的赛果,为评估当时游戏 AI 的能力边界提供了参照。