高分 GSM8K 不能等同于通用推理能力

看到模型在 GSM8K 上拿到很高的分数，我的第一反应不是“它已经具备通用推理能力”，而是：它在这类结构化数学文字题上，表现得相当不错。这个区别听起来有点抬杠，但在实际判断模型能力时，真的非常关键。

GSM8K 的题目通常有明确条件、清晰目标和可核对答案。模型可以把问题拆成几步，列出关系，完成计算，再检查结果。推理过程变长、测试时计算增加，或者允许调用代码执行工具，都可能提升正确率。可这只能说明模型更擅长处理一种形式化任务，不能自动推出它面对陌生问题、模糊需求或复杂现实约束时也同样可靠。

我尤其警惕“分数很高，所以什么都会”的跳跃。一个模型可能算对了题，却没有真正理解题意；也可能在熟悉题型上表现稳定，题目稍微改写、条件顺序变化，表现就突然下降。工具调用能减少算术错误，却不能保证模型没有漏掉条件，更不能替它判断问题是否被正确建模。

还有一个容易被忽略的因素：评测本身。公开题库被广泛使用后，训练数据与测试数据之间可能出现重叠。即使不存在明显的数据污染，模型也可能通过反复接触相似题型，形成很强的模式识别能力。因此，判断推理能力不能只盯着一个榜单数字，还要看新题、变式题、不同推理预算下的表现，以及多次运行是否稳定。

在我看来，GSM8K 更像一把刻度清楚的尺子：它能帮助我们观察模型在结构化数学问题上的进步，却不是“通用智能检测仪”。真正值得关注的，是模型能否在不完整信息、错误反馈和题目变化下，持续给出可验证、可恢复的判断。高分当然值得肯定，但别急着把它升级成万能证明。