微软多模态ChatGPT来了?搞定看图答题、智商测验等任务!
点击下方卡片,关注“CVer”公众号
AI/CV重磅干货,第一时间送达
点击进入—>【计算机视觉】微信技术交流群
转载自:机器之心 | 编辑:杜伟、陈萍
从大型语言模型(LLM)到多模态大型语言模型(MLLM),微软又迈出了重要一步。
在 NLP 领域,大型语言模型(LLM)已经成功地在各种自然语言任务中充当通用接口。只要我们能够将输入和输出转换为文本,就能使得基于 LLM 的接口适应一个任务。举例而言,摘要任务输入文档,输出摘要信息。所以,我们能够将输入文档馈入摘要型语言模型,并生成摘要。
尽管 LLM 在 NLP 任务中取得了成功的应用,但研究人员仍努力将其原生地用于图像和音频等多模态数据。作为智能的基本组成部分,多模态感知是实现通用人工智能的必要条件,无论是对于知识获取还是与现实世界打交道。更重要的是,解锁多模态输入能够极大地拓展语言模型在更多高价值领域的应用,比如多模态机器人、文档智能和机器人技术。
因此,微软团队在论文《Language Is Not All You Need: Aligning Perception with Language Models》中介绍了一个多模态大型语言模型(MLLM)——KOSMOS-1,它可以感知一般模态、遵循指令(即零样本学习)以及在上下文中学习(即少样本学习)。研究目标是使感知与 LLM 保持一致,如此一来模型能够看到(see)和说话(talk)。研究者按照 METALM(参见论文《Language models are general-purpose interfaces》 )的方式从头开始训练 KOSMOS-1。
论文地址:https://arxiv.org/abs/2302.14045
项目地址:https://github.com/microsoft/unilm
如下图 1 所示,研究者将一个基于 Transformer 的语言模型作为通用接口,并将其与感知模块对接。他们在网页规模的多模态语料库上训练模型,语料库包括了文本数据、任意交错的图像和文本、以及图像字幕对。此外,研究者还通过传输纯语言数据来校准跨模态的指令遵循能力。
最终,KOSMOS-1 模型原生支持零样本和少样本学习设置下的语言、感知语言与视觉任务,具体如下表 1 所示。
研究者在下图 2 和图 3 中展示了一些生成示例。除了各种自然语言任务,KOSMOS-1 模型能够原生处理广泛的感知密集型任务,如视觉对话、视觉解释、视觉问答、图像字幕、简单的数学方程式、OCR 和带描述的零样本图像分类。他们还根据瑞文推理测验(Raven's Progressive Matrices, RPM)建立了一个 IQ 测试基准,用来评估 MLLM 的非语言推理能力。
这些示例表明,多模态感知的原生支持为将 LLM 应用于新任务提供了新的机遇。此外与 LLM 相比,MLLM 实现了更好的常识推理性能,表明了跨模态迁移有助于知识获取。
由于 KOSMOS-1 模型的参数量为 16 亿,因此有网友表示有望在自己的电脑上运行这个多模态大模型。
KOSMOS-1:一个多模态大型语言模型
如图 1 所示,KOSMOS-1 是一个多模态语言模型,它既可以感知一般的模态、遵循指令、还能在上下文中学习并生成输出。具体来说,KOSMOS-1 的主干是一个基于 Transformer 的因果语言模型。除了文本之外,其他模态也能被嵌入并输入到该模型中,如下图中,除了语言还有视觉、语音等的嵌入。Transformer 解码器用作多模态输入的通用接口。一旦模型训练完成,KOSMOS-1 在零样本和少样本设置中也能对语言任务和多模态任务进行评估。
Transformer 解码器以统一的方式感知模态,输入信息会被 flatten 为带有特殊 token 的序列。例如 < s > 表示序列开始、</s > 表示序列结束。特殊 token <image > 和 </image > 表示编码图像嵌入的开始和结束。
嵌入模块将文本 token 和其他输入模态编码成向量表示,对于输入 token,该研究使用查找表将其映射到嵌入中。对于连续信号模态(例如,图像和音频),也可以将输入表示为离散编码。
之后,获得的输入序列嵌入会被馈送到基于 Transformer 的解码器。然后因果模型以一种自回归的方式处理序列,从而产生下一个 token。总而言之,MLLM 框架可以灵活地处理各种数据类型,只要将输入表示为向量即可。
模型训练
首先是训练数据集。数据集包括文本语料库、图像 - 字幕对、图像和文本交叉数据集。具体而言,文本语料库包括 The Pile 、Common Crawl (CC);图像 - 字幕对包括 English LAION-2B、LAION-400M、COYO-700M 以及 Conceptual Captions;图像和文本交叉多模态数据集来自 Common Crawl snapshot。
数据集有了,然后是训练设置。MLLM 组件包含 24 层、隐藏维度是 2048、8192 个 FFN 和 32 个注意力头、参数量为 1.3B。为了使模型更好的收敛,图像表示是从具有 1024 个特征维度的预训练 CLIP ViT-L/14 模型获得的。图像在训练过程中被预处理为 224×224 分辨率,此外,训练期间除了最后一层,所有的 CLIP 模型参数被冻结。KOSMOS-1 的参数总数约为 1.6B。
实验结果
该研究进行了一系列丰富的实验来评价 KOSMOS-1 :语言任务(语言理解、语言生成、 OCR-free 文本分类);跨模态迁移(常识推理);非语言推理( IQ 测试);感知 - 语言任务(图像字幕、视觉问答、网页问答);视觉任务(零样本图像分类、带有描述的零样本图像分类)。
图像字幕。下表给出了不同模型在 COCO 和 Flickr30k 上的零样本性能。相比其他模型,KOSMOS-1 均取得了显著效果,甚至在参数量远小于 Flamingo 的基础上,性能也不错。
下表为少样本性能对比:
视觉问答。KOSMOS-1 比 Flamingo-3B 和 Flamingo-9B 模型具有更高的准确率和鲁棒性:
下表为少样本性能对比:
IQ 测试。瑞文推理测验是评估非语言推理最常见的测试之一。图 4 显示了一个示例。
表 6 显示了在 IQ 测试数据集上的评估结果。KOSMOS-1 能够在非语言环境中感知抽象概念模式,然后在多个选择中推理出之后的元素。据了解,这是首次有模型可以执行此类零样本 Raven IQ 测试。
网页问答。网页问答旨在从网页中找到问题的答案。它要求模型既能理解文本的语义,又能理解文本的结构。结果如下:
多模态思维链提示。受思维链提示的启发,本文对这方面进行了实验。如图 5 本文将感知语言任务分解为两个步骤。在第一阶段给定图像,使用提示来引导模型生成符合要求的输出,以产生最终结果。
从表 9 可以看出,多模态思维链提示的得分为 72.9 分,比标准提示高出 5.8 分:
了解更多实验内容,请参考原论文。
点击进入—>【计算机视觉】微信技术交流群
最新CVPP 2023论文和代码下载
后台回复:CVPR2023,即可下载CVPR 2023论文和代码开源的论文合集
后台回复:Transformer综述,即可下载最新的3篇Transformer综述PDF
目标检测和Transformer交流群成立
扫描下方二维码,或者添加微信:CVer333,即可添加CVer小助手微信,便可申请加入CVer-目标检测或者Transformer 微信交流群。另外其他垂直方向已涵盖:目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer等。
一定要备注:研究方向+地点+学校/公司+昵称(如目标检测或者Transformer+上海+上交+卡卡),根据格式备注,可更快被通过且邀请进群▲扫码或加微信号: CVer333,进交流群
CVer学术交流群(知识星球)来了!想要了解最新最快最好的CV/DL/ML论文速递、优质开源项目、学习教程和实战训练等资料,欢迎扫描下方二维码,加入CVer学术交流群,已汇集数千人!▲扫码进群
▲点击上方卡片,关注CVer公众号
整理不易,请点赞和在看
微软多模态ChatGPT来了?搞定看图答题、智商测验等任务!相关推荐
- 微软多模态ChatGPT来了?16亿参数搞定看图答题、智商测验等任务
关注并星标 从此不迷路 计算机视觉研究院 公众号ID|ComputerVisionGzq 学习群|扫码在主页获取加入方式 计算机视觉研究院专栏 作者:Edison_G 从大型语言模型(LLM)到多模态 ...
- 如何轻松搞定各种图形化展现
近期,大屏展示再次把 "统计图" 推向热搜榜.或许你会问为什么,这多半是因为大屏通过各种图形组件集中呈现了用户关心的数据,而其中每个组件基本都是一个呈现形态各异的统计图,有的体现了 ...
- 【ChatGPT工具篇-1】ChatGPT + MindShow 分分钟搞定PPT制作
AI 能生万物吗? 制作一份"通用性"的PPT需要几步? 三步 借助ChatGPT和MindShow,分分钟完成操作,就能制作出来完胜大部分人的PPT文件: 解锁更多AIG ...
- 微软商店安装包_搞定你的数学问题:微软发布新APP可以手写或扫描数学题进行解答...
国内帮助学生解决学业问题的移动应用程序还是挺多的,不过这类应用多数都是收集题目人工计算后再进行解答. 现在微软也推出类似的应用专门解决各种数学方面的问题,这款应用能解决的问题主要是小学.初中和高中数学 ...
- “微软高管”拯救必应 搞定盖茨成为合伙人?官方打脸:实为开除员工
9月29日,近日,有媒体报道了原微软员工于伟在微软期间的工作事迹.对此,微软移动联新互联网服务有限公司通过官方微博@Bing搜索发布声明称:这些报道严重不实,于伟从未担任过所谓的微软高管.该员工因违纪 ...
- 一篇文章让你搞定火山图,Volcano plot详解
火山图是散点图的一种,它将统计测试中的统计显著性量度(如p value)和变化幅度相结合,从而能够帮助快速直观地识别那些变化幅度较大且具有统计学意义的数据点(基因等).常应用于转录组研究,也能应用于基 ...
- CCNA题库关于Frame-relay看图答题的解答
先上原文,后面解释! (In the old days, this question was a multi-choice question but Cisco upgraded it into a ...
- 平板电脑安装软件_看港澳节目,手机、平板、电脑,无需安装,一步搞定!
聪聪的那年微信公众号正式启用,聪聪将在<微信公众号>.<今日头条>.<西瓜视频>同步更新精彩软件,希望大家能关注聪聪,多给予支持关注,关注:聪聪的那年即可获取关注礼 ...
- 证件照转数字人只需几秒钟,微软实现首个3D扩散模型高质量生成效果,换装改形象一句话搞定 | CVPR 2023...
转载自 微软亚洲研究院 量子位 | 公众号 QbitAI 一张2D证件照,几秒钟就能设计出3D游戏化身! 这是扩散模型在3D领域的最新成果.例如,只需一张法国雕塑家罗丹的旧照,就能分分钟把他" ...
最新文章
- Android手机系统adb常用的命令
- 使用CDN之后APACHE日志记录中IP地址不正确的解决方案
- mysql 修改字符集
- C++Primer 中文版第5版 习题3.26
- 老司机给我们解读 Spring Boot 最流行的 16 条实践
- Adobe Experience Design是什么软件?xd mac版下载安装教程 XD 2021发布
- 常见计算机基础笔试题总结quickstart
- 数字核心 驱动转型:SAP S/4HANA 数字化转型论坛 - 杭州站 即刻报名
- web开发中多线程下载文件
- 使用SharePoint Framework开发webpart的一些技巧汇总
- 2020家用千兆路由器哪款好_什么路由器比较好(2020年最好千兆路由器)
- OpenCV图像处理---模糊原理
- 还不知道什么是内网穿透吗,今天我带你深刻了解
- 超市收银系统c语言程序用c 的,C语言 超市收银系统
- html中怎么写一个简单的tab,html中的tab功能如何实现?
- mac 下安装mysql-5.7.16-osx10.11-x86_64
- 如何用深度强化学习模拟炒股?
- Infrared Small Target Detection 2021
- 典型MOSFET制造工艺流程示意图
- 证件扫描电子版怎么弄?这个方法不要错过
热门文章
- DMA技术和及其SG模式
- 重装系统(win10、win7、ubuntu等)
- python3表白代码弹窗_抖音弹窗表白代码怎么写 弹窗表白制作方法
- excel 快速填充所有非连续空白单元格
- html使用简单标签改变字体(加粗、斜体...)
- 机器学习:详细推导EM算法
- 介绍GRE填空技巧之词项释义法
- 火狐 脱机文件位置不能更改_如何更改Firefox下载文件夹的位置
- SiamGAT:Graph Attention Tracking
- halfstone 原理_half of --中的一半.当它所指代的是不可数名词时.代表单数.如果half of 后边所接的是可数名词的复数.那么它所代表的也是复数概念....