跳到正文
原文
Kimi · 官方博客·· 13 天前AI 评分55

月之暗面(Kimi)发布并开源 WorldVQA 视觉世界知识基准

WorldVQA

AI 导读

月之暗面(Kimi)团队发布并开源 WorldVQA 基准,用于评测多模态大模型在原子视觉世界知识上的事实准确性。数据集含 3500 组图像问答对,覆盖 9 个类别并区分头部与长尾知识;实验显示前沿模型在长尾视觉知识上准确率常低于 50%,且普遍过度自信,其中 Kimi-K2.5 的 ECE 为 37.9%、Slope 为 0.550,表现最好。

来源:Kimi · 官方博客 · kimi.com