因果卷积(causal Convolutions)和扩展卷积(Dilated Convolutions)
背景
对于序列问题(Sequence Modeling)的处理方法，通常采用RNN或者LSTM，例如处理一段视频/音频，往往会沿着时间方向（时序）进行操作。通常CNN网络都被认为适合处理图像数据而不适合处理sequence modeling问题；而今年来，由于RNN及LSTM这类模型的瓶颈，越来越多的人开始发现其实CNN对于这种序列问题的处理是被大大低估了，CNN建立的model要比之前人们之前用的RNN要好很多，而且简洁。
1. 因果卷积（Causal）
传统的CNN模型是无法直接处理Sequence Modeling这种序列问题的，使用因果卷积，其作用就是对与序列问题（sequence modeling），主要抽象为，根据x1…xt和y1…yt-1去预测yt，使得yt接近于实际值
因果卷积的计算过程如下：
从上面结构可以看出，每一层的输出都是由前一层对应未知的输入及其前一个位置的输入共同得到，并且如果输出层和输入层之前有很多的隐藏层，那么一个输出对应的所有输入就越多，并且输入和输出离得越远，就需要考虑越早之前的输入变量参与运算，这样会增加卷积的层数，而卷积层数的增加就带来：梯度消失，训练复杂，拟合效果不好的问题，
对于因果卷积，存在的一个问题是需要很多层或者很大的filter来增加卷积的感受野
为了解决这个问题，出现了扩展卷积（dilated）
2. 扩展卷积（Dilated）
扩展卷积（dilated convolution）是通过跳过部分输入来使filter可以应用于大于filter本身长度的区域。等同于通过增加零来从原始filter中生成更大的filter。
使用扩展卷积，就可以解决因果卷积带来的问题，在示意图中，卷积感受野扩大了1,2,4,8倍。扩大卷积（dilated convolution）可以使模型在层数不大的情况下有非常大的感受野。
【更详细的介绍可跳转至】：Convolution Network及其变种（反卷积、扩展卷积、因果卷积、图卷积）
因果卷积(causal Convolutions)和扩展卷积(Dilated Convolutions)相关推荐
- 从一维卷积、因果卷积(Causal CNN)、扩展卷积(Dilation CNN) 到 时间卷积网络 (TCN)
来源: AINLPer微信公众号(每日干货分享!!) 编辑: ShuYini 校稿: ShuYini 时间: 2022-09-30 引言 卷积神经网络 (CNN) 尽管通常与图像分类任务相关,但经过改 ...
- 因果卷积（causal）与扩展卷积（dilated）
因果卷积(causal)与扩展卷积(dilated)之An Empirical Evaluation of Generic Convolutional and Recurrent Networks f ...
- DL之DilatedConvolutions：Dilated Convolutions(膨胀卷积/扩张卷积)算法的简介(论文介绍)、架构详解、案例应用等配图集合之详细攻略
DL之DilatedConvolutions:Dilated Convolutions(膨胀卷积/扩张卷积)算法的简介(论文介绍).架构详解.案例应用等配图集合之详细攻略 目录 Dilated Con ...
- Dilated Convolutions——扩张卷积
文章作者:Tyan 博客:noahsnail.com | CSDN | 简书. 1. 扩张卷积 Dilated Convolutions,翻译为扩张卷积或空洞卷积.扩张卷积与普通的卷积相比,除 ...
- 膨胀卷积--Multi-scale context aggregation by dilated convolutions
Multi-scale context aggregation by dilated convolutions ICLR 2016 https://arxiv.org/abs/1511.07122 C ...
- 膨胀卷积（Dilated convolutions）（又叫空洞卷积、扩张卷积）
一.背景 论文:Multi-Scale Context Aggregation by Dilated Convolutions 大部分图像分割的框架都是经历一系列的卷积和下采样的模块之后,再不断与 ...
- 膨胀卷积(DILATED CONVOLUTIONS)
膨胀卷积(DILATED CONVOLUTIONS)是在卷积核的元素之间插入一些额外的空间,而插入空间的量由参数膨胀因子d (dilation rate)来控制, 通常有d-1个空间在卷积核元素之间被 ...
- 【扩张卷积or空洞卷积】如何理解Dilated Convolutions(空洞卷积)
文章来源:https://blog.csdn.net/alxe_made/article/details/88594550 1. 扩张卷积的提出 Multi-Scale Context Aggrega ...
- 空洞卷积(Dilated Convolutions)
在深度学习中,我们常见的就是卷积神经网络.这篇博客来给大家介绍一下空洞卷积跟普通卷积的区别. 空洞卷积的应用处:空洞卷积(dilated convolution)是针对图像语义分割问题中下采样会降低图 ...
最新文章
- 甘氨胆酸(Cholylglycine)小麦麦清白蛋白纳米粒|叶酸偶联牛血清白蛋白负载卡铂和紫杉醇靶向纳米粒
- Infor与云的不解之缘
- CentOS7系统安装参考
- kettle命令运行工具(pan、kitchen、carte)
- javac错误: 找不到符号或程序包XXX不存在
- uniapp app 端截屏且保存到本地
- Hash 哈希 PTA 相关题目解析
- 花卉识别--五个类别的检测
- 将js对象转为json对象属性加上引号
- C语言：猴子吃桃问题：猴子第一天摘下若干桃子，当即吃了一半多一个，第二天将剩下的桃子吃掉一半多一个，以后每天都吃掉前一天剩下桃子的一半多一个。到第10天想再吃时，只剩下一个桃子。
- 靶机12 PENTESTER LAB: XSS AND MYSQL FILE
- 教你看别人的QQ密码
- ArcGIS中城镇建设指向的灾害评价（地震）
- Unity之WebGL加载ab包
- BIM+GIS的八大难点以及应对方法
- Project Server 2003和Project Server 2007部署
- DevC++最常用的快捷键
- 电子货架标签———精准操控
- UG模具全3D设计，模具结构零件的命名规则，让工作更清晰明了
- MongoTemplate crud 封装