精准适配数学推理场景。
数学推理场景下的分布外检测研究成果
本文介绍了一项关于数学推理场景下分布外检测（OOD检测）的研究，该研究已被NeurIPS 2024接收。研究由上海交通大学与阿里巴巴通义实验室合作完成，第一作者王一鸣是一名二年级博士生，研究方向涉及语言模型生成与推理。
1. 研究背景与挑战
分布外检测是确保深度学习模型在面对偏移数据时输出可控结果的重要手段。随着语言模型的进步，复杂生成序列中的错误传播使得OOD数据的负面影响加剧。传统的检测方法在数学推理任务中面临困境，因为数学问题的输入输出特征聚类不明显且具有高密度叠加特性，研究团队称之为“模式坍缩”。
2. 动态Embedding轨迹的提出
为应对上述挑战，研究团队提出了一种基于动态Embedding轨迹的新型OOD检测算法，称为“TV Score”。该方法通过记录语言模型中每一层输出的Embedding变化，来量化样本在ID和OOD类别中的可能性。研究表明，OOD样本的Embedding轨迹具有显著的个性化差异，且在后期隐藏层的变化幅度更为显著。
3. TV Score的计算方法
TV Score的计算分为三个步骤：首先，为ID样本的每一层Embedding拟合高斯分布；其次，计算新样本与其层高斯分布间的马氏距离；最后，得出一个平均值作为样本的最终轨迹波动率得分。此外，研究团队还引入了差分平滑技术，以提高特征提取的精度。
4. 实验与结果
研究团队在11个数学推理数据集上进行了实验，结果表明，TV Score在离线检测和在线检测场景中均展现了优越的性能。在Far-shift OOD场景下，TV Score的AUROC指标提高了10个点以上，且FPR95指标显著降低。在Near-shift OOD场景中，TV Score展现出了更强的鲁棒性。
5. 泛化性测试与总结
研究还测试了TV Score的泛化性，包括任务泛化和场景泛化，结果显示TV Score在多种场景下均表现良好。总之，该研究为数学推理场景下的OOD检测提供了新的思路，展示了传统检测算法的局限性以及动态Embedding轨迹方法的适用性，为未来的研究方向奠定了基础。
联系作者
文章来源：机器之心
作者微信：
作者简介：专业的人工智能媒体和产业服务平台