国产大模型，登顶多模态榜单！

昆仑万维最近在大模型圈可谓“风生水起”。

几天前刚被曝挖来了 ai 大牛颜水成，出任天工智能联席 ceo。

现在，其「天工」大模型 skywork-mm 又登顶多模态榜单，在腾讯优图实验室联合厦门大学开展的多模态大语言模型测评中，综合得分排名第一。

mme 感知榜第一，认知榜第二，总榜第一

腾讯优图实验室联合厦门大学在新建的评测基准 mme 上首次对全球范围内 mllm 模型进行了全面定量评测并公布了 16 个排行榜，包含感知、认知两个总榜单以及 14 个子榜单。

mme 数据集是一个最近发布的多模态语言模型测评基准。

它通过大型多模态语言模型在涵盖感知和认知任务的 14 个子任务上的表现来全面评估模型。

而 skywork-mm 只用了不到 50m 的图文数据 —— 远小于其他大模型，拿下了第一(榜单地址见文末)。

如何做到？

主要是解决了现有多模态大模型中颇为困扰的两大问题:

幻觉和较弱的跨语言能力。

多模态两大难

所谓幻觉，是指多模态大模型在回答问题时，倾向于肯定的答案，即使我们所给的问题中根本没有相关特征。

例如面对下面这张图像。

如果问它“这个男人的头发是什么颜色？”，即使优秀如 llava、minigpt-4 等多模态大模型，也会“睁着眼说瞎话”:黑色。

至于跨语言能力问题，主要表现在应对中文场景中的问题回答不尽如人意。

问它们从哪里能观赏到该景色，就更是一言难尽了。

甚至有时，模型还会直接回复纯英文。

这两大问题严重影响着现有多模态大模型的性能。

怎么解决？

三方面入手

昆仑万维天工大模型 skywork-mm 从分别从数据、模型和训练流程三方面入手。

其中重点是数据和模型。

先看数据。

首先对于幻觉问题。

从本质出发，该问题主要是整个模型训练过程中使用的数据太偏重正样本。

如果训练过程中再碰上弱相关的图文数据，模型就更加放飞联想、形成较严重的幻觉。

为此，天工大模型多模态团队提出以图像为中心，喂给模型既包含正样本也包含负样本的多模态指令微调数据:

这使得模型既能够学习一张图像中存在的视觉特征，也能学习到不存在的特征。

这样，模型的指令跟随能力便得到增强:问什么答什么，没有的也不胡编。

其次，对于跨语言中的中文问题，一共有两个解决思路:

增强中文的指令追随能力。

由于“微调指令的文化 gap 很小”，只需将上面解决幻觉问题中构造的英文指令微调数据翻译成中文使用。

增强中文相关场景的识别能力。

需要注意的是，在解决跨语言问题时，我们重点关注的点是文化偏差 ——

即通用的视觉特征和语言特征可以通过共有的语料进行关联，但是各个语言文化中专有的视觉特征和语言特征的关联需要大量特殊学习。

因此我们需要加入大规模的中文图像-文本对数据。

不过，这样的中文语料并不好收集，一是囿于数据质量，而是困于数量。

怎么办？

引出 skywork-mm 在模型架构上的改进。

为了不让低质量的图文数据影响模型效果，天工大模型多模态团队在设计上选择将视觉模型和大语言模型完全冻结。

这样做的目的是保持视觉模型在前置 clip 训练中学习到的视觉特征不损失，以及大语言模型的语言能力不损失。

同时，为了更好的关联不同文化环境中的视觉特征和语言特征，模型整体包含了一个可学习的视觉特征采样器和语言模型的 lora 适配器。

如下图所示，skywork-mm 一共包含四大模块:

给定一张图像，lvm 先提取图像特征，然后将图像特征输入到重采样器中，计算出可为 llm 输入的 token。

llm 接收 token 和指令提示，然后输出图像描述或对问题的回答。

至于训练流程，主要分为两阶段:

第一阶段使用双语的大规模图文对数据进行图像概念和语言概念的关联学习。

第二阶段使用多模态微调数据进行指令微调。

此时，各种类型的指令微调数据就组成统一的 chat prompt 形式。

ps. 上图中的重采样器和 lora 适配器标记了火焰，它们是可训练的。

登顶 mme 综合榜单

如下表所示，skywork-mm 一共用了大约 50m 图文数据，这比当前的同类大模型都要少得多。

但经过以上数据、模型和训练流程三方面的改进，skywork-mm 效果拔群。

如下图所示:

也能听明白一些特殊的指令；

对于中文场景问题，表现得也不再像个“歪果仁”了。

可谓拥有了良好的指令跟随和中文场景问答能力。

因此像第一段展示的那些幻觉和跨语言问题，它完全可以信手拈来:

孟非没有头发就没有，不会说成黑色；苏州园林、非诚勿扰节目一眼认出；三个物体没有一个是黄色。

而如开头所示，在与其他模型的横向测试中，skywork-mm 直接荣登 mme 榜单综合第一，包括感知榜单第一、认知榜单第二。

这个榜单大约今年 6 月上线、目前 github 4k 标星，是当前多模态大模型最新的测评基准之一。

它一共包含 14 个子任务，其中感知任务除 ocr，还包括粗粒度和细粒度对象识别，前者识别对象的存在与否、数量、位置和颜色；后者识别电影海报、名人、场景、地标和艺术品。

认知任务则包括常识推理、数值计算、文本翻译和代码推理。

下表显示 skywork-mm 在该榜单感知任务中的 ocr 粗粒度识别上的具体得分:

细粒度识别得分:

以及认知任务得分:

可以看到，能与 skywork-mm 偶尔“平分秋色”的只有 minigpt-4 和 blip 系列。

而除了 mme 榜单，skywork-mm 还在另一多模态基准 mmbench 的开发集上表现出色:

进步空间

需要注意的是，尽管昆仑万维天工大模型这一最新成果，代表了当前多模态大模型的最高水平，但它还是存在很多进步空间。

例如:

文化和语言障碍仍然存在，还需要我们开发一种多语言的 lvm，更有效地提取不同文化特有的视觉特征，或者再收集更多各语言的大规模、高质量图像文本对，确保模型准确掌握视觉概念和文本概念的关联。

除此之外，目前的成果只建立在较小规模的基础之上，如果研究更大的多模态模型，我们在使用数据、参数设置、训练策略等方面可能都需要进一步探索。

评估基准也还可以更全面，目前 mme 和 mmbench 的测试范围都有限。

最高的模型得分才 33.33，离满分 100 还有很大的差距。

这个缺陷从下图也可以看出:

毫无疑问的是，人工智能的未来一定是多模态的。

以上这些问题说明，我们才刚刚开始探索它真正的潜力。

然而，我们相信，在一次又一次的榜单排名更迭之中，属于多模态大模型的“chatgpt 时刻”终将会到来。

论文地址:

榜单地址:

广告声明:文内含有的对外跳转链接，用于传递更多信息，节省甄选时间，结果仅供参考，it之家所有文章均包含本声明。