Qwen3.8 27B 英文单词加法测试
Qwen3.8 27B addition in words
Simon Willison 在 DGX Spark 上测试了 Qwen3.8-27B-Q4_K_M.gguf 的英文单词加法能力。禁用推理时，5,070 个测试的数值准确率仅 23.57%，随操作数位数增加从 97.04% 降至 6.44%，格式合规率为 96.17%。开启中等推理后，169 次单次测试中答对 167 次，准确率大幅提升。
研究 Qwen3.8 27B 用英文单词表示加法 —— 一项基准测试检验了本地 `Qwen3.8-27B-Q4_K_M.gguf` 模型能否将正整数相加，并仅用英文单词表示精确结果，测试使用了 5,070 个禁用推理的用例，并与 169 个用例的中等推理版本进行了配对比较。在禁用推理的情况下，其数字准确率为 23.57%，尽管格式合规率高达 96.17%，但表现从一到三位操作数的 97.04% 下降到了十到十三位操作数的 6.44%。
Colin Frasier 在 Bluesky 上发帖，谈到了他两年多前用 GPT-4o 做的一个实验，想看看它在越来越大的数字上能多好地“计算出总和并用单词返回答案”。这是他分享的那些结果图表：
我确信 GPT-4o 没有作弊使用计算器，尤其因为它算错了那么多道题，但我受到启发，在本地硬件（一台 DGX Spark）上重新运行了这个实验，以便在完全受控的环境中探索这一效应。
我把他的图片粘贴到一个 Codex Remote 会话（GPT-6 Astra）中，让它用 Qwen3.8-27B-Q4_K_M.gguf 运行同样的实验。以下是每种组合禁用推理、运行 30 次尝试后的结果：
然后我开启了推理又跑了一遍。每对数字耗时长得多，所以每个方格我没有跑 30 个样本，而是只跑了 1 个——这导致热力图在视觉上大打折扣，因为每个方格要么是 100%，要么是 0%：
它在 169 次尝试中有 167 次给出了正确答案，而且由于这些都是一次性运行，我确信再跑一次会得出不同的结果。
这是一个报告版本，其中包含了一些较大计算的推理轨迹，内容类似这样：
Wait, let me redo this more carefully.
4,299,366,105,622
6,088,794,067,970
Let me align them:
4 2 9 9 3 6 6 1 0 5 6 2 2
6 0 8 8 7 9 4 0 6 7 9 7 0
Adding from right to left:
Position 1 (units): 2 + 0 = 2
Position 2 (tens): 2 + 7 = 9
Position 3 (hundreds): 6 + 9 = 15, write 5, carry 1
来源：Simon Willison · simonwillison.net