斯坦福揭秘o1-preview软肋！数学竞赛题稍作修改，准确率骤降30%

原标题：斯坦福揭秘o1-preview软肋！数学竞赛题稍作修改，准确率骤降30%
文章来源：新智元
内容字数：3946字

斯坦福研究揭示：顶级AI模型在数学竞赛变体题面前“翻车”

1. **AI 模型在数学竞赛中的表现两极分化：** 斯坦福大学最新研究发现，尽管像OpenAI的o1-preview这样的顶级AI模型在数学、代码等领域表现出色，甚至在AIME竞赛中达到全美前500的水平，但在面对普特南数学竞赛的变体题目时，准确率却骤降30%。这表明，当前的AI模型在处理数学问题上的灵活性存在显著不足。

2. **普特南竞赛变体题的“威力”：** 普特南数学竞赛以其极高的难度和独特的出题思路而闻名。研究人员利用程序化修改机制，对原始题目中的变量、常量等进行微调，生成了大量从未出现过的变体题。这些看似细微的改动，却能彻底改变问题的解题路径，从而有效测试AI模型的真正数学推理能力，而非简单的记忆能力。

3. **Putnam-AXIOM基准的意义：** 研究团队创建了Putnam-AXIOM基准，包含236道历年普特南竞赛原题及其变体。该基准不仅提供了对AI模型数学能力的全面评估，更重要的是，它能够有效避免AI模型通过“死记硬背”作弊，真正检验其数学推理能力。

4. **不同模型在基准测试中的表现：** 研究人员对多个AI模型，包括o1-preview、GPT-4、Claude-3.5 Sonnet等进行了测试。结果显示，o1-preview在原题上的准确率为41.95%，但在变体题上骤降至11.95%。其他模型也出现了类似的准确率下降。有趣的是，一些开源模型如Gemma和Mistral在变体题上的表现反而有所提升，这暗示了不同的模型架构和训练方法可能对处理这类问题有不同的适应性。

5. **研究结论与未来方向：** 这项研究揭示了当前AI模型在处理数学问题灵活性方面的不足。它们可能过度依赖于训练数据中常见的模式，难以应对超出其“经验”范围的问题。普特南竞赛变体题的设计精准地击中了AI模型的“软肋”，为未来AI模型的训练和提升提供了新的方向，例如，需要加强模型对数学概念的深层理解和逻辑推理能力，而不是仅仅依赖于模式识别。

6. **总结：** 斯坦福大学的研究通过精心设计的普特南竞赛变体题，揭示了顶级AI模型在数学推理能力上的局限性。这项研究不仅促进了对AI模型能力的更深入理解，也为未来AI模型的研发提供了宝贵的经验和方向，推动AI在数学领域的进一步发展。