首个深入探索多模态大模型（MLLM）的可解释性综述，从数据、模型、训练推理多个视角剖析多模态人工智能的决策逻辑，揭示其 “魔法” 背后的科学依据。

原标题：决策过程是魔法还是科学？首个多模态大模型的可解释性综述全面深度剖析
文章来源：机器之心
内容字数：8081字

引言

近年来，人工智能（AI）技术的迅猛发展，特别是多模态大模型（MLLM）的兴起，推动了各领域的革命性变化。然而，如何理解和解释这些复杂模型的决策过程，成为了研究者和应用者关注的核心问题。本文由香港科技大学（广州）、上海人工智能实验室、中国人民大学及南洋理工大学联合完成，旨在系统梳理多模态大模型的可解释性研究进展。

1. 可解释性研究的三个维度

本综述从数据、模型和训练与推理三个维度深入分析多模态大模型的可解释性。

• 数据视角：探讨输入数据的预处理和对齐方式，研究如何通过扩展数据集提升模型决策的透明性。
• 模型视角：分析模型的关键组成部分，如词元、特征、神经元和网络结构，以揭示它们在决策过程中的作用。
• 训练与推理视角：研究训练和推理阶段如何影响模型的可解释性，探讨提升透明性的策略。

2. 词元与嵌入的可解释性

词元和嵌入作为模型的基本单元，对可解释性至关重要。通过分析视觉词元和视觉-文本词元，研究揭示了它们在复杂任务中的影响。此外，特征嵌入的表示方式也被探讨，以提升模型的透明度。

3. 神经元与层级结构的分析

神经元的功能和语义角色的研究有助于理解模型内部机制。研究表明，特定的神经元可以负责多模态信息的整合，而层级结构的分析则揭示了各层在决策过程中的作用。

4. 网络结构的可解释性

对网络结构的分析包括特征归因、单模态和多模态解释等方法。通过引入可解释的模块和方法，增强模型的透明性。

5. 训练与推理的统一解释框架

在训练阶段，通过优化多模态对齐策略来提升模型鲁棒性；在推理阶段，采用链式思维推理技术增强输出的可解释性和可信度。

6. 未来展望

随着多模态大模型的广泛应用，未来的研究应聚焦于数据集的标准化、模型结构的透明化，以及建立统一的评估基准，以推动可解释性在实际应用中的落地。

结论

多模态大模型的可解释性研究不仅对学术研究具有重要意义，也直接影响其在实际应用中的可靠性。未来的研究应加强技术与人类理解的对接，以确保模型的透明性、可信性和公平性。

联系作者

文章来源：机器之心
作者微信：
作者简介：专业的人工智能媒体和产业服务平台