OmniAudio-2.6B – Nexa AI推出的端侧多模态音频语言模型

OmniAudio-2.6B是Nexa AI推出的一款创新音频语言模型，专为边缘部署而设计，旨在实现快速且高效的音频文本处理。该模型拥有2.6亿参数，融合了Gemma-2-2b、Whisper Turbo以及定制的投影模块，优化了自动语音识别（ASR）与语言模型的集成，显著降低了延迟和资源消耗。在2024款Mac Mini M4 Pro上，OmniAudio-2.6B的解码速度比Qwen2-Audio-7B-Instruct快5.5到10.3倍，适用范围广泛，包括语音问答、对话及创意内容生成等，基于Nexa SDK在本地设备上运行，为用户提供强大的边缘AI解决方案。

OmniAudio-2.6B是什么

OmniAudio-2.6B是Nexa AI推出的一款音频语言模型，专为边缘设备部署而设计，提供快速且高效的音频文本处理能力。该模型结合了Gemma-2-2b、Whisper Turbo和定制的投影模块，优化了自动语音识别和语言模型的融合，显著减少了延迟和资源消耗。OmniAudio-2.6B在2024款Mac Mini M4 Pro上展示了比Qwen2-Audio-7B-Instruct快5.5到10.3倍的解码速度，适用于众多应用场景，例如语音问答、对话生成和创意内容创造，基于Nexa SDK在本地设备上运行，提供了强大的边缘AI解决方案。

OmniAudio-2.6B的主要功能

• 语音识别与转录：将语音输入转化为文本，适用于会议记录、语音笔记等多种场景。
• 语音问答：用户可以通过语音提问，模型能够理解并提供文本答案。
• 语音对话：模型能够参与语音对话，理解语音输入并生成相应的文本回复。
• 创意内容生成：用户可以请求模型基于语音输入生成创意内容，如诗歌和故事等。
• 录音摘要：模型能够对长时间的语音记录进行理解和总结，提取关键信息的摘要。

OmniAudio-2.6B的技术原理

• 集成架构：整合了Gemma-2-2b、Whisper Turbo和自定义投影模块，减少了传统ASR和LLM模型串联带来的延迟和资源消耗。
• 稀疏性利用：通过语言模型嵌入空间的稀疏性，投影模块将Whisper的音频tokens映射到与Gemma文本嵌入一致的序列，实现音频和文本的有效融合。
• 三阶段训练流程：
  • 预训练：使用MLS English 10k转录数据集，引入特殊token以区分转录和补全任务。
  • 监督式微调（SFT）：基于转录数据集创建合成数据集，用于指令调优，使模型能够理解并处理对话音频输入。
  • 直接偏好优化（DPO）：通过GPT-4o API评估模型输出，识别错误响应并进行优化，以提高模型的准确性。
• 高效推理引擎：Nexa SDK是基于GGML的C++推理引擎，专为在边缘设备上部署音频语言模型而设计，能够实现高效的音频语言模型推理。
• 量化和优化：模型支持FP16和Q4_K_M量化版本，减少内存和存储需求，适应资源受限的边缘设备。

OmniAudio-2.6B的项目地址

• 项目官网：nexa.ai/blogs/omniaudio-2.6b
• HuggingFace模型库：https://huggingface.co/NexaAIDev/OmniAudio-2.6B
• 在线体验Demo：https://huggingface.co/spaces/NexaAIDev/omni-audio-demo

OmniAudio-2.6B的应用场景

• 智能助手和虚拟助手：在智能手机和智能家居设备中，作为语音交互的核心，提供快速的语音识别和自然语言理解功能。
• 车载系统：集成于汽车中，提供语音控制、导航和娱乐系统操作等功能，提升驾驶安全性和便利性。
• 会议记录和转录：在商务会议中自动记录和转写会议内容，生成会议摘要，提高工作效率。
• 教育和学习：辅助语言学习，提供语音识别和反馈，帮助学习者提升发音和语言能力。
• 医疗健康：在医疗环境中，通过语音命令控制医疗设备，或为患者提供语音交互服务。