跳到正文

#评测/基准

今日 0 条
10月14日周三
  1. AWS Machine Learning Blog78

    在 Amazon Bedrock 上用 Grok 4.7 构建长周期智能体

    AWS 官方博客介绍在 Amazon Bedrock 上用 Grok 4.7 构建工具调用智能体,作者设计三个均有唯一正确答案的任务,在四个推理档位下各跑六次共 72 次运行,答对 67 次,xhigh 档 18 次全部正确。

    推荐理由:文章给出了可复用的推理档位评测方法,读者能据此在自己的 Agent 任务上权衡正确率与 token 成本。

10月13日周二
  1. Microsoft Research49

    Microsoft Research 推出 StudentSim:用 AI 学生模拟器改进 AI 辅导

    Microsoft Research 推出 StudentSim,这是一个在真实学习者测试前评估和改进 AI 辅导系统的研究工具。它从公开的去标识化学习者记录中训练个性化学生模拟器,并引入 StudentSimEval 基准,从行为保真度和指导响应度两个维度进行评估。该系统在棋类、英语二语写作和数学领域优于主流基线,可为 AI 辅导训练提供有用的反馈信号。

9月28日周一
9月22日周二
9月21日周一
9月16日周三
9月3日周四
8月13日周四
  1. Microsoft Research47

    MindTopo 揭示 VLM 的空间推理能力

    Microsoft Research 推出拓扑推理基准 MindTopo,评估多模态模型在连通性、包围、顺序、分离与打结五类拓扑关系上的推理与规划能力。测试显示,当前多模态模型在静态识别任务上表现明显优于交互式规划任务,两者均远低于人类水平,且错误多发生在规划阶段而非感知阶段。该基准为机器人和交互环境中的 AI 系统提供了可控诊断工具。

6月30日周二
  1. OpenAI News30

    OpenAI 发布 GeneBench-Pro

    OpenAI 发布 GeneBench-Pro,这是一个面向基因组学、生物学和科学研究的全新 benchmark。该 benchmark 使用复杂、真实世界的数据集,测试 AI 在这些领域的表现。

6月17日周三
  1. OpenAI News38

    OpenAI 发布 LifeSciBench

    OpenAI 发布 LifeSciBench,一个面向生命科学领域的专家级评测基准。该基准由专家撰写并经专家评审,用于评估 AI 系统处理真实世界生命科学研究任务与决策的能力。

6月12日周五
5月29日周五
5月22日周五
2月26日周四
2月23日周一
2月20日周五
2月18日周三
12月9日周二
11月19日周三
11月4日周二
10月9日周四
9月25日周四
5月12日周一
8月6日周一
  1. OpenAI News77

    OpenAI Five 公布 Dota 对战基准结果

    昨天,OpenAI Five 在现场观众和 10 万名同步直播观众面前,以三局两胜击败了一支由 99.95 百分位 Dota 玩家组成的队伍:Blitz、Cap、Fogged、Merlini 和 MoonMeander,其中四人曾有职业 Dota 比赛经历。

    推荐理由:原文记录了 OpenAI Five 击败高水平 Dota 玩家的赛果,为评估当时游戏 AI 的能力边界提供了参照。

7月18日周三
6月22日周五
4月5日周四