Transformer 的通用建模能力

像素-像素，物体-像素和物体-物体的关系建模。此前，前两种关系建模主要是分别由卷积和 RoIAlign 来实现的，最后一种关系通常没有很好的建模方法。但是，Transformer 中的注意力单元因其通用的建模能力，可以被应用到所有这些基本关系的建模中。

一方面 Transformer 可以看作是一种图建模方法。图是全连接的，节点之间的关系通过数据驱动的方式来学习得到。由于任意概念（无论具体或抽象）都可以用图中的节点来表示，且概念之间的关系可以用图上的边来刻画，因此 Transformer 建模具有很强的通用性。

另一方面，Transformer 通过验证的哲学来建立图节点之间的关系，具有较好的通用性：无论节点多么异构，它们之间的关系都可以通过投影到一个可以比较的空间里计算相似度来建立。如图4（右）所示，节点可以是不同尺度的图像块，也可以是“运动员”的文本输入，Transformer 均可以刻画这些异构节点之间的关系。

卷积可以看作是一种模板匹配，图像中不同位置采用相同的模板进行滤波。而 Transformer 中的注意力单元则是一种自适应滤波，模板权重由两个像素的可组合性来决定，这种自适应计算模块具有更强的建模能力。

Transformer 的通用建模能力相关推荐

让预训练模型学习知识：使用多学习器增强知识建模能力
论文标题: K-Adapter: Infusing Knowledge into Pre-Trained Models with Adapters 论文作者: Ruize Wang, Duyu Tan ...
香侬读 | 让预训练模型学习知识：使用多学习器增强知识建模能力
论文标题: K-Adapter: Infusing Knowledge into Pre-Trained Models with Adapters 论文作者: Ruize Wang, Duyu Tan ...
综合能源系统通用建模及规划方法研究-算例-笔记
综合能源系统通用建模及规划方法研究--算例分析区域综合能源系统规划对象包括能量枢纽和区域能源配网,前者的规划需综合考虑系统结构和设备型号,为区域综合能源系统规划的核心内容,为了更直接说明本文提出 ...
【业务架构】通用业务能力列表
是否有一个通用业务能力列表,可以作为能力映射工作的起点?对!Capstera提供了几个可定制的通用功能列表,以行业/行业为重点,也可用于横向功能领域. 业务能力是一种重要的粘合剂,它将执行与战略联系起 ...
UML建模能力成为对日软件外包首要条件
近日,由UMTP和国内最大的IT人才培训机构--东方标准联合举办的"UML建模研讨会"在北京举行,本次研讨会就对日外包产业现状.建模技术的意义.及建模人才培训还有认证考试等方面的内 ...
业务通用校验能力建设
目录一.建设目标二.方案模型 (一)整体方案架构能力说明基本架构示意图基本架构模块能力示意图 (二)整体流程图分析配置相关流程图运行处理流程图三.方案设计 (一)配置侧能力方案说明处理 ...
银行笔试题目汇总——通用素质能力测试（EPI）
一.通用素质能力测试(EPI) 1.逻辑判断必然性推理.可能性推理. 2.定义判断题型概述.方法精讲. 3.图形推理 1. 数量关系两条线相交的点的个数. 是否为一笔画. 汉字笔画数呈递增或者其 ...
你的建模能力已经打败了99%的人……︱全面预算
预算建模是F-One平台的一种说法,对企业的财务人员来说,可以这么理解,原来编一个预算目标测算模型,需要在Excel里手动编辑非常复杂的.层层嵌套的逻辑公式,需要向IT或者数据分析人员求助,请他们从公 ...
基于Transformer的通用视觉架构：Swin-Transformer带来多任务大范围性能提升
将Transformer引入视觉领域后,研究人员们一直在寻求更好的模型架构来适应视觉领域的通用任务.但将Transformer从NLP领域迁移到CV领域面临着众多挑战,与文本相比图像中的视觉实体尺度变 ...

Transformer 的通用建模能力

Transformer 的通用建模能力相关推荐

最新文章

热门文章