在各种视觉任务中表现出超越现有的视觉Mamba模型的精度，同时保持了线性注意力优越的并行计算与高推理速度。

原标题：从线性注意力视角揭秘视觉Mamba，清华、阿里合作提出全新MILA模型
文章来源：机器之心
内容字数：6662字

研究背景与意义

近年来，状态空间模型（SSM）在有效序列建模中引起了广泛关注，尤其是Mamba模型以线性计算复杂度实现了对输入序列的高效建模。本文由清华大学自动化系的博士生韩东辰及其指导老师黄高副教授共同撰写，探讨了Mamba模型与线性注意力之间的内在联系，并提出了一种新的模型结构MILA，旨在结合两者的优点，提升视觉任务的表现。

1. Mamba模型与线性注意力的关系

本文首先揭示了Mamba模型与线性注意力之间的深刻联系。Mamba模型可以被视为具有特殊设计的线性注意力，包括输入门、遗忘门、快捷连接、无注意力归一化和单头设计等。通过统一的公式表述，二者在核心操作上展现出相似性，这为后续研究提供了新的视角。

2. 实验分析与结果

通过实验证明，Mamba模型的成功主要归因于其等效遗忘门和宏观结构设计。这些设计显著提升了模型的性能，但遗忘门在视觉模型中可能导致推理速度的下降。为此，本文提出利用位置编码来替代遗忘门，从而在保持全局感受野的同时，实现并行计算和快速推理。

3. MILA模型的提出

在对Mamba与线性注意力的分析基础上，本文提出了Mamba-Inspired Linear Attention（MILA）模型。MILA融合了Mamba的设计思想，能够以线性复杂度实现全局建模，并在多种视觉任务中优于现有的视觉Mamba模型。实验结果显示，MILA在图像分类和物体检测等任务上表现出色，且推理速度更快。

4. 结论与未来展望

综上所述，Mamba模型的特殊设计使其在性能上超越了线性注意力，而MILA模型则在此基础上进一步优化，适应视觉任务的需求。未来的研究可以继续探索状态空间模型在其他领域的应用潜力，推动高效模型架构的设计与发展。

联系作者

文章来源：机器之心
作者微信：
作者简介：专业的人工智能媒体和产业服务平台