原标题：清华UCSD提出全新微调方法，8B小模型媲美GPT-4o！科学问题正确率提高28%
文章来源：新智元
内容字数：6020字

1. 引言

最近，来自加州大学圣地亚哥分校（UCSD）和清华大学的研究团队提出了一种新的微调方法，使得一个仅有80亿参数的小型模型在科学问题上能够与GPT-4o相媲美。这一研究挑战了AI开发中“更大模型必然更好”的传统观念，强调了模型在使用外部工具和依赖内部知识之间进行合理选择的重要性。

2. 微调方法概述

该微调方法由两部分组成：世界知识蒸馏（WKD）和工具使用适应（TUA）。在WKD中，模型通过学习使用工具生成的解答来积累特定领域的知识。TUA则帮助模型根据问题的复杂性判断是否使用工具，提升了模型的效率和准确性。

3. 实验与评估

研究团队使用Llama-3.1-8B-Instruct作为基础模型，评估了多种开源和闭源模型的表现。通过使用现有的MATH和SciBench数据集以及自定义的科学数据集（Mujoco、偏微分方程、气候科学和流行病学），研究人员检验了微调方法的有效性。

4. 研究成果

结果显示，微调后的模型在测试数据集上实现了28.18%的答案准确率提升和13.89%的工具使用精度提高。与未微调的基础模型相比，微调方法在自定义数据集上表现显著优于所有基准模型。

5. 结论

这一研究表明，教会AI在使用外部工具和依赖内部知识之间进行判断，可能比单纯增加计算能力更为重要。未来的AI研究应更注重模型的智能决策能力，以提高其在科学问题解决中的效率和准确性。

联系作者

文章来源：新智元
作者微信：
作者简介：智能+中国主平台，致力于推动中国从互联网+迈向智能+新纪元。重点关注人工智能、机器人等前沿领域发展，关注人机融合、人工智能和机器人革命对人类社会与文明进化的影响，领航中国新智能时代。