这篇论文聚焦于o1类推理模型面临的一个核心挑战。
腾讯AI Lab与上海交通大学合作研究：o1类大模型的“过度思考”现象
本文介绍了腾讯AI Lab和上海交通大学团队合作完成的一篇论文，该论文首次探讨了o1类长思维链模型的“过度思考”现象。该现象指的是模型在解决简单问题时，会产生过长的思维链，浪费计算资源。论文题目为《Do NOT Think That Much for 2+3=? On the Overthinking of o1-Like LLMs》，论文地址为：https://arxiv.org/pdf/2412.21187。
1. 背景与动机：o1模型的“过度思考”
自OpenAI发布o1模型以来，其强大的逻辑推理能力备受关注。o1模型通过模拟人类深度思考过程，例如自我反思、纠错和探索多种解法等，展现了强大的长时间推理能力。然而，这种机制也带来了一个潜在问题——过度思考。许多类似的模型，如QwQ-32B-Preview和Deepseek R1-Preview，也存在此问题：即使面对简单的加法问题“2+3=?”,也会生成数百甚至上千个token的冗长答案，而传统模型只需要少量token即可给出答案。
2. 过度思考现象的定义与分析
研究团队定义了模型回复中的“解答”：模型每次完整地得到一个答案（无论对错）即为一个解答。在三个数据集（ASDIV、GSM8K、MATH500）上，他们统计了QwQ和R1模型的解答数量分布。结果显示，包含2-4个解答的样本占比超过70%。然而，分析表明，这两个模型在超过90%的情况下，第一次尝试就能给出正确答案，后续的思考几乎没有提升正确率，这印证了过度思考的现象。
为了更深入分析，研究团队利用GPT-4对模型回答进行分类，包括推理策略分类和多样性分析。结果表明，后续解答引入新推理思路的可能性逐渐降低，更多的是重复之前的推理，导致冗余和低效。
3. 过度思考指标的提出
研究团队提出了两个衡量“过度思考”的核心指标：产出效率和过程效率。
产出效率：正确解答的token数除以完整回复的总token数。该指标越高，表示模型在得到正确答案后进行反思的轮数越少。
过程效率：回复中不同推理策略的token总数除以整个回复的token总数。该指标越高，表示模型的多轮反思越有效。
在MATH500数据集上，QwQ和R1模型的效率指标均显示存在不同程度的过度思考，尤其在简单问题上，产出效率不足一半，过程效率也较低。
4. 缓解过度思考的方法
研究者们使用QwQ-32B-Preview模型，基于PRM12K数据集，尝试了多种偏好优化算法（SFT,DPO,RPO,SimPO），并结合不同的正样本选择策略（最短回复，首个正确回答，首个正确回答+验算，最多样回复）。实验结果表明，SimPO结合“首个正确回答+验算”策略能够在保持模型性能的同时，大幅减少输出token数目和平均解答轮数，有效提升产出效率和过程效率。尤其在简单问题上，该方法仅使用少量token便达到了100%的正确率。
5. 总结与未来展望
该论文揭示了o1类模型在简单问题上容易过度思考，浪费计算资源的问题，并提出了有效的优化方法。未来研究将探索自适应调控策略和更精细的效率评估指标，以实现更高效的推理机制。
联系作者
文章来源：机器之心
作者微信：
作者简介：专业的人工智能媒体和产业服务平台