跳到正文

#评测/基准

今日 0 条
10月14日周三
  1. AWS Machine Learning Blog78

    在 Amazon Bedrock 上用 Grok 4.7 构建长周期智能体

    AWS 官方博客介绍在 Amazon Bedrock 上用 Grok 4.7 构建工具调用智能体,作者设计三个均有唯一正确答案的任务,在四个推理档位下各跑六次共 72 次运行,答对 67 次,xhigh 档 18 次全部正确。

    推荐理由:文章给出了可复用的推理档位评测方法,读者能据此在自己的 Agent 任务上权衡正确率与 token 成本。

10月13日周二
10月10日周六
10月9日周五
  1. 量子位25

    联想天禧自研代码智能体TianxiCode斩获SWE-bench-Live全球第一

    联想天禧AI自研代码智能体框架TianxiCode配合DeepSeek-v4.1-Flash,在SWE-bench-Live(Lite分榜)以71%的问题解决率登顶全球第一并获“Verified”认证。TianxiCode具备跨文件多跳检索与精准上下文管理、自驱动规划与多轮工具调用、闭环补丁生成与测试驱动自愈三大能力。未来该技术成果将沉淀至开发者工具链,并应用于联想AI硬件产品。

10月8日周四
  1. 量子位63

    实测 Vidu Q4 预览版,5.4 元做出 GTA 6 风格短片,最高支持 4K 直出

    生数科技开放 Vidu Q4 预览版,量子位实测仅花 5.4 元就做出一段 GTA 6 风格《邪恶老奶》视频。该版本最高支持 4K 直出,可一次引用 15 张参考图和 3 段参考音频,单条最长 16 秒;MaaS 端图生视频 720P 约 0.6 元/秒、1080P 约 0.75 元/秒,SaaS 端推出为期两个月的限时优惠。实测显示其在正反打对话、格斗动作与光影特效上能保持稳定输出。

  2. 爱范儿48

    我用 Vidu Q4 Preview 把奥特曼和 Dario 凑成男团,跳起了 APT

    生数科技开放新一代视频生成模型 Vidu Q4 Preview,主打人物演技、镜头张力与复杂特效,生成价格 0.09 元/秒起。模型支持最多 15 张参考图、3 段参考音频及 2K、4K 输出,用户可在 Vidu 官网体验。实测显示其情绪反应与运镜叙事表现稳定,但节奏自然度、画面风格控制和模型幻觉仍需优化。

10月6日周二
10月5日周一
  1. Simon Willison38

    Qwen3.8 27B 英文单词加法测试

    Simon Willison 在 DGX Spark 上测试了 Qwen3.8-27B-Q4_K_M.gguf 的英文单词加法能力。禁用推理时,5,070 个测试的数值准确率仅 23.57%,随操作数位数增加从 97.04% 降至 6.44%,格式合规率为 96.17%。开启中等推理后,169 次单次测试中答对 167 次,准确率大幅提升。

10月2日周五
9月30日周三
  1. 雷峰网58

    我们让 GPT-6 Astra、Fable 5.1 和 Sol 控制同一台机器人:谁真的把活干完了?

    作者让 GPT-6 Astra Pro、Claude Fable 5.1 和 GPT-5.6 Sol 控制同一台两轴云台机械臂,执行同一句模糊指令,三者均完成任务,但执行路径、验证标准和成本差异明显。GPT-6 Astra Pro 压缩为 7 步并逐点反馈验证,账单 23.43 美元;Claude Fable 5.1 用 12 步最快跑完并留下可复用脚本,花费 5.70 美元。

9月29日周二
  1. 爱范儿70

    可灵 4.0 首发实测,国产 AI 视频再次掀桌?

    可灵 AI 拿出 Kling 4.0 大版本更新,主打真实、可控、专业,将于 10 月正式上线,Kling 4.0 Flash 已于 9 月 28 日率先开放小范围体验。

    推荐理由:原文把 Kling 4.0 的 10-bit HDR 输出与主流 8-bit 方案对比,并给出多参考素材的提示词分工技巧,可直接迁移到自己的视频生成流程。

9月28日周一
9月22日周二
9月21日周一
  1. X65

    用 Ling-3.0-flash-VL 接管运营复盘中最烦的图表读数环节

    作者用自己 X 账号的后台截图实测了蚂蚁开源的 Ling-3.0-flash-VL,验证它在细粒度图表读数上的表现。底部 11 张卡片数值全部读对,双 Y 轴图 9 天 New follows 全部命中,跌幅前三名(Shares -100%、Bookmarks -84%、Likes -72%)排序正确,像素级核对后绝大多数误差在个位数以内。

    推荐理由:作者用自己真实的 X 后台截图做像素级核对,验证了轻量多模态模型在细粒度图表读数上的可用性,也给同类重复劳动提供了可迁移的验证方法。

9月18日周五
  1. 傅盛50

    GPT-6 狂肝 141 小时《我的世界》,最后道心破碎彻底摆烂

    GPT-6 Astra 在 Vals AI 的《Minecraft》测试中连续自主运行 141 小时,因一只苦力怕自爆炸毁其存放关键物资的箱子和重生点,最终放弃击败末影龙的主线任务。受挫后它转而修房、种土豆并刻意躲避苦力怕,甚至把远处的甘蔗误认为苦力怕。该测试表明,前沿模型在开放环境中长时间执行复杂任务时,容易因突发意外逐渐偏离最初设定的目标。

8月8日周六
  1. 翔宇工作流71

    LibTV+Seedance 2.5 实测:30 秒一镜到底,Vlog 真假难辨

    Seedance 2.5 发布,单段视频直出时长从 15 秒翻倍至 30 秒,支持两次视频延长、最长 90 秒,参考素材上限从 12 个提升到 50 个(30 张图片+10 段视频+10 段音频)。

    推荐理由:文章对比 Seedance 2.0 时代的长镜头拼接痛点,拆解 30 秒直出、片段重拍与智能引用如何改变 AI 视频制作流程。

2月20日周五
8月6日周一
  1. OpenAI News77

    OpenAI Five 公布 Dota 对战基准结果

    昨天,OpenAI Five 在现场观众和 10 万名同步直播观众面前,以三局两胜击败了一支由 99.95 百分位 Dota 玩家组成的队伍:Blitz、Cap、Fogged、Merlini 和 MoonMeander,其中四人曾有职业 Dota 比赛经历。

    推荐理由:原文记录了 OpenAI Five 击败高水平 Dota 玩家的赛果,为评估当时游戏 AI 的能力边界提供了参照。

7月18日周三