国科大联合旷视提出OneChart，一个能为自己负责的图表解析模型

《论语》中说：“知之为知之，不知为不知，是知也”。从神经网络兴起以来，人们就没有停止过对这种黑盒模型应用在生产环境的担心。在 AI 1.0 中大部分模型还至少会输出一个置信度得分可供参考；然而对于 AI 2.0 时代的 VLMs 来说，所有的结果以文本的形式吐出，这加重了人们对模型安全性的焦虑。让模型知道自己的能力边界，不要产生致命错误，这点十分必要，也是目前的难点。

图表（柱状图，折线图，饼图）的信息结构化提取（SE）是对模型可靠性要求极高的任务之一，同时也是 VLM 难解的问题之一。下面是目前领先的一些 VLM 模型（GPT-4V、最新发布的 Reka Core、Gemini 1.5 Pro 以及国产的 Qwen-VL-Max）在图表解析上任务的表现。

经测试（所使用的 Chart 图片均为虚拟图片，不代表任何实际意义），目前这些模型对于 chart 正确理解还有所欠缺，特别是 chart 中的数值不能通过调用 OCR 简单获取的时候。

为此所提出的 OneChart 选取图表 SE 这一任务，展示了一种简单有效的方法。仅通过一个辅助 token 和对应的辅助 decoder 设计，不仅增强了模型的特定能力，还能在推理时对模型的文本输出给出一个可靠性检查。

文章所提的 OneChart 参数量仅 0.2B，但在 SE 任务中可以大幅领先目前的 1.3B～13B 模型。OneChart 还可以作为一种 Chart-Agent 来帮助现有的 LLM 或 VLM 更好的完成下游 QA 任务，例如 LLaVA1.6+OneChart 可以在 ChartQA 数据集上涨点 11.2。

论文题目：

OneChart: Purify the Chart Structural Extraction via One Auxiliary Token

论文地址：

http://arxiv.org/abs/2404.09987

代码地址：

https://github.com/LingyvKong/OneChart

项目主页：

https://onechartt.github.io/

任务和方法介绍

Chart 理解和推理能力是目前 VLM 研究中的重点之一。作者认为目前用 VLM 进行 Chart 解析有两部分需要改进：一是需要充分训练一个真正会看 chart 的 vision encoder；二是在 SE 任务中单纯对文本输出算交叉熵损失不是最优的，比如当 gt 是 7008 时，模型输出 70.8 和 7007 损失是一样的，但显然 7007 是相对可以接受的误差，特别是当 chart 图片中没有明确的数值标注的时候。

如图 1，Onechart 的做法是引入了一个辅助 decoder，并设计 L1 loss 来进行监督。

OneChart 的模型结构如下图，主要包括 vision encoder、OPT-125M、Auxiliary decoder 三部分。Auxiliary decoder 由 3 层 MLP 组成，以 Auxiliary token <Chart> 的 embedding 作为输入，输出 min-max 归一化后的 chart 数值结果。数值结果部分会计算 L1 loss，文本部分计算 cross-entropy loss，总 loss 是二者相加。

训练分 3 个阶段，第一阶段 pretrain VLM，第二阶段 warm-up auxiliary decoder，第 3 阶段合起来做一次 finetune。由于 Autoregressive model 中的 attention 是 casual 的，Auxiliary token 中的信息可以被后面的 token 隐式的利用，进而增强文本预测中的精度，所以推理时可以选择丢弃辅助 decoder，简单地采用语言模型的输出。

当然，在推理时也可以选择不丢弃辅助 decoder，而是用辅助 decoder 输出的结果和语言模型输出的结果进行可靠性校验：将语言模型输出结果中的数值 min-max 归一化后，与辅助 decoder 输出的结果计算 L1 距离。通过设置阈值判断模型输出的可靠性。更多的技术细节，请查看 OneChart 的论文。

性能展示

OneChart 提取图表信息的量化性能得分如下，其中 Structural Extraction 任务衡量的是模型提取 chart 主体部分 entity 和对应数值的准确性。可以看到 OneChart 的 AP@strict 显著优于其他模型，整体性能也是 SOTA 水平。

下面这个表格展示的是推理时采用可靠性校验筛选出的 purified 预测和原始所有预测的性能 AP 对比。可以看出可靠性校验的筛选能力是显著的。

模型推理效果如下：

作者还进行了 LLM 或 VLM 结合 OneChart 在 ChartQA 上的性能测试，可以看到 OneChart 输出可以让 LLaVA1.5 涨点 32.6，让 LLaVA1.6 涨点 11.2。这表明准确的感知是推理的基石，而现有的 VLMs 在 chart 感知上尚存在提升空间，OneChart 可以作为工具被 LLM/VLMs 调用来增强其在 chart 上的能力。