OneLLM：对齐所有模态的框架！

论文

：OneLLM: One Framework to Align All Modalities with Language

地址

：https://arxiv.org/abs/2312.03700

git

: https://github.com/csuhan/OneLLM

引言

随着LLM的兴起，由于其强大的语言理解和推理能力，在学术和工业界中越来越受欢迎。LLM的进展也启发了研究人员将LLM作为多模态任务的接口，如视觉语言学习、音频和语音识别、视频理解等，因此多模态大语言模型(Multimodal Large Language Model， MLLM)也引起了研究人员的关注。然而，目前的研究依赖特定于单模态的编码器，通常在架构上有所不同，并且仅限于常见的模态。本文提出了OneLLM，这是一种MLLM，它使用一个统一的框架将八种模式与语言对齐。通过统一的多模态编码器和渐进式多模态对齐pipelines来实现这一点。不同多模态LLM的比较如下图所示，可以明显的看出OneLLM框架的工作方式与之前研究的区别。

OneLLM由轻量级模态标记器、通用编码器、通用投影模块(UPM)和LLM组成。与之前的工作相比，OneLLM 中的编码器和投影模块在所有模态之间共享。特定于模态的标记器，每个标记器仅由一个卷积层组成，将输入信号转换为一系列标记。此外，本文添加了可学习的模态标记，以实现模态切换并将不同长度的输入标记转换为固定长度的标记。

动机

贡献

• 本文提出了一个统一框架来将多模态输入与语言对齐。与现有的基于模态的编码器的工作不同，展示了一个统一的多模态编码器，它利用预训练的视觉语言模型和投影专家的混合，可以作为 MLLM 的通用且可扩展的组件。
• OneLLM 是第一个在单个模型中集成八种不同模态的MLLM。通过统一的框架和渐进式多模态对齐pipelines，可以很容易地扩展OneLLM以包含更多数据模式。
• 本文策划了一个大规模的多模态指令数据集。在这个数据集上微调的 OneLLM 在多模态任务上取得了更好的性能，优于主流模型和现有的 MLLM。

相关工作

方法

模型架构

• 模态标记器：模态标记器是将输入信号转换为标记序列，因此基于转换器的编码器可以处理这些标记。为每个模态设计了一个单独的标记器。对于图像和视频等二维位置信息的视觉输入，直接使用单个二维卷积层作为标记器。对于其他模态，将输入转换为 2D 或 1D 序列，然后使用 2D/1D 卷积层对其进行标记。
• 通用编码器：利用预训练的视觉语言模型作为所有模态的通用编码器。视觉语言模型在对大量图文数据进行训练时，通常学习视觉和语言之间的稳健对齐，因此它们可以很容易地转移到其他模式。在OneLLM中，使用CLIPViT作为通用计算引擎。保持CLIPViT的参数在训练过程中被冻结。
• 通用投影模块：与现有的基于模态投影的工作不同，提出了一个通用投影模块，将任何模态投影到 LLM 的嵌入空间中。由 K 个投影专家组成，其中每个专家都是在图像文本数据上预训练的一堆transformer层。尽管一位专家还可以实现任何模态到 LLM 的投影，但实证结果表明，多个专家更有效和可扩展。当扩展到更多模态时，只需要添加几个并行专家。
• LLM：采用开源LLaMA2作为框架中的LLM。LLM的输入包括投影的模态标记和单词嵌入后的文本提示。为了简单起见，本文总是将模态标记放在输入序列的开头。然后LLM被要求以模态标记和文本提示为条件生成适当的响应。

渐进式多模态对齐

多模态指令调优

实验

实现细节

• 架构：通用编码器是在LAION上预训练的CLIP VIT Large。LLM 是 LLAMA2-7B。UPM有K=3个投影专家，每个专家有8个transformer块和88M个参数。
• 训练细节：使用AdamW优化器，β1=0.9，β2==0.95，权重衰减为0.1。在前2K次迭代中应用了线性学习速率预热。对于阶段I，在16个A100 GPU上训练OneLLM 200K次迭代。有效批量大小为5120。最大学习率为5e-5。对于第II阶段，在8个GPU上训练 OneLLM 200K，有效批量大小为1080，最大学习率为1e-5。在指令调优阶段，在8个gpu上训练OneLLM 1 epoch，有效批大小为512，最大学习率为2e-5。

定量评价

• Image-Text Evaluation：下表结果表明，OneLLM还可以在视觉专门的LLM中达到领先水平，MLLM和视觉LLM之间的差距进一步缩小。

  
• Video-Text Evaluation：下表可以看出，本文模型在相似的 VQA 数据集上进行训练明显增强了其紧急跨模态能力，有助于提高视频QA任务的性能。

  
• Audio-Text Evaluation：对于Audio-Text任务，结果显示，在Clotho AQA上的zero-shot结果与完全微调的Pengi相当。字幕任务需要更多特定于数据集的训练，而QA任务可能是模型固有的零样本理解能力更准确的度量。

  
• Audio-Video-Text Evaluation：下表结果表明，OneLLM-7B在所有三个数据集上都超过了 ChatBridge-13B。由于 OneLLM 中的所有模态都与语言很好地对齐，因此在推理过程中可以直接将视频和音频信号输入到 OneLLM。

  
• Point Cloud-Text Evaluation：从下表中可以看出，由于精心设计的指令提示在任务之间切换，OneLLM可以实现出色的字幕结果，而InstructBLIP和PointLLM 难以生成简短而准确的字幕。在分类任务中，OneLLM也可以获得与 PointLLM 相当的结果。

  
• Depth/Normal Map-Text Evaluation：如下表中所示，与CLIP相比，OneLLM实现了优越的zero-shot分类精度。这些结果证实，在合成deep/normal map-text数据上训练的OneLLM可以适应现实世界的场景。

  

消融实验

为了探索 OneLLM 的一些关键设计。消融实验是在训练数据的一个子集上进行的，除了对专家数量的研究外，它只包含图像、音频和视频的多模态对齐和指令调整数据集。如果没有指定，其他设置保持不变。消融实验的结果如下表所示，

• MLLM 的一个重要问题是联合训练的 MLLM 是否优于特定于模态的 MLLM。为了解决这个问题，在表7（a）中比较了单独训练的MLLM与联合训练的MLLMs的性能。在单独的训练中，模型只能访问自己的数据；在联合训练中，模型在所有数据上联合训练。在两个图文任务 NoCaps 和 VQAv2 上，可以看到单独和联合训练的模型取得了可比较的结果；虽然单独训练的音频和视频模型比 ClothoQA 和 MSVDQA 上的联合训练模型差得多。这表明联合训练通过允许跨模态迁移学习知识的转移，极大地有利于数据稀缺模态（例如音频和视频）。
• 表7（b）表明，具有图像-文本对齐的 OneLLM 可以帮助多模态文本对齐。如果使用随机初始化的模型直接将所有模态与文本对齐，图像和视频的性能会显着下降。相反，具有图像-文本预训练的 OneLLM 可以更好地平衡不同的模式。
• 具有三个投影专家的 OneLLM 足以保持所有模态。增加专家的数量并不能带来所需的改进，而一位专家的结果也不能令人满意。
• 软路由器优于其他两个路由器，表明其对多模态信号的动态路由的有效性。

定性分析

下图中给出了 OneLLM 在八种模态上的一些定性结果。展示了 OneLLM 可以(a)理解图像中的视觉和文本内容，(b)利用视频中的时间信息，(c)基于音频内容进行创造性写作，(d)理解3D形状的细节，(e)分析fMRI数据中记录的视觉场景，(f)基于运动数据猜测人的动作，以及(g)-(h)使用deep/normal map进行场景理解。

以下是OneLLM框架更多的定性分析结果。

总结

1. 缺乏图像之外模态的大规模、高质量的数据集，这导致 OneLLM 和这些模式上的专业模型之间存在一定差距。
2. 高分辨率图像、长序列视频和音频等的细粒度多模态理解。未来，将收集高质量的数据集，设计新的编码器来实现细粒度的多模态理解。