PaliGemma 2是Google DeepMind推出的最新一代视觉语言模型（VLM），基于Gemma 2语言模型家族，作为PaliGemma的升级版本。它结合了SigLIP-So400m视觉编码器和不同规模的Gemma 2模型，能够支持多种分辨率，并通过多阶段的训练过程，展现出广泛的知识迁移能力。

PaliGemma 2是什么

PaliGemma 2是Google DeepMind基于Gemma 2语言模型家族推出的新一代视觉语言模型（VLM），作为PaliGemma模型的升级版。它结合了SigLIP-So400m视觉编码器和多种规模的Gemma 2模型，支持多种分辨率，并通过多阶段训练实现广泛的知识迁移能力。PaliGemma 2在多种学术任务中表现优异，特别是在大型模型与高分辨率配置下的性能显著提升，同时在OCR、音乐乐谱识别和医学图像报告生成等新兴领域也取得了显著突破。

PaliGemma 2的主要功能

• 多尺度图像处理：支持不同分辨率（224px²，448px²，896px²）的图像输入，以满足各种视觉任务的需求。
• 广泛的迁移学习：基于微调的预训练模型，PaliGemma 2能够迁移到30多个不同的学术任务，包括图像描述和视觉问答（VQA）等。
• 多模态任务处理：能够结合图像和文本信息，执行如图像字幕生成和视觉推理等多模态任务。
• OCR相关任务：包括表格结构识别、分子结构识别和乐谱识别等功能。
• 细粒度描述生成：能够生成内容丰富且包含丰富细节的长图像描述。
• 医学图像理解：在放射线报告生成等医学图像理解任务中表现出色。

PaliGemma 2的技术原理

• 模型架构：PaliGemma 2基于Gemma 2家族的语言模型，结合SigLIP-So400m视觉编码器，该视觉编码器将图像转换为嵌入表示，并通过线性投影映射到Gemma 2的输入空间。
• 多阶段训练：
  • 第一阶段：联合预训练视觉编码器和Gemma 2模型，使用大量多模态任务样本。
  • 第二阶段：在更高分辨率下进一步训练，增加高分辨率任务的权重。
  • 第三阶段：针对特定任务进行微调，以优化模型性能。
• 自回归采样：使用Gemma 2语言模型进行自回归采样，从文本提示中生成所需的输出序列。
• 参数优化：根据不同模型大小调整学习率，以优化迁移学习的性能。
• 计算效率：通过优化LLM中的视图标记来控制计算成本。
• 量化与CPU推理：支持8位开关浮点量化，使模型能高效地在CPU上运行。

PaliGemma 2的项目地址

• 项目官网：paligemma-2
• HuggingFace模型库：https://huggingface.co/collections/google/paligemma-2
• arXiv技术论文：https://arxiv.org/pdf/2412.03555

PaliGemma 2的应用场景

• 图像识别与描述：自动生成图像的详细描述，适用于社交媒体、内容管理及搜索引擎优化。
• 视觉问答（VQA）：在教育和娱乐应用中，回答用户关于图像内容的问题。
• 光学字符识别（OCR）：识别图像中的文字，应用于文档数字化、历史文献存档和自动数据提取。
• 表格结构识别：从图像中提取表格结构和内容，适用于财务报告分析、科学研究和数据整理。
• 分子结构识别：在化学和生物医学研究中，识别和重建分子结构。

常见问题

• PaliGemma 2支持哪些输入格式？：PaliGemma 2支持多种分辨率的图像输入，如224px²、448px²和896px²。
• 该模型适用于哪些领域？：PaliGemma 2在医学、科研、教育等多个领域均有广泛应用。
• 如何使用PaliGemma 2进行特定任务的微调？：用户可以通过提供特定数据集进行微调，以优化模型在该任务上的表现。