卷积系列——形变卷积(Deformable convolution)代码理解和使用

给出代码地址：https://github.com/kastnerkyle/deform-conv，keras版本的。

可以直接看目录scripts下的scaled_mnist.py，网络模型由函数get_deform_cnn()加载：

# ---
# Deformable CNNinputs, outputs = get_deform_cnn(trainable=False)
model = Model(inputs=inputs, outputs=outputs)

get_deform_cnn()定义在目录deform_conv下的cnn.py中，整体就是一个普通的cnn网络，只不过卷积前加了ConvOfffset2D：

def get_deform_cnn(trainable):inputs = l = Input((28, 28, 1), name='input')# conv11l = Conv2D(32, (3, 3), padding='same', name='conv11', trainable=trainable)(l)l = Activation('relu', name='conv11_relu')(l)l = BatchNormalization(name='conv11_bn')(l)# conv12l_offset = ConvOffset2D(32, name='conv12_offset')(l)l = Conv2D(64, (3, 3), padding='same', strides=(2, 2), name='conv12', trainable=trainable)(l_offset)l = Activation('relu', name='conv12_relu')(l)l = BatchNormalization(name='conv12_bn')(l)...return inputs, outputs

上面代码中由ConvOffset2D得到的l_offset应该是偏移/形变后的feature maps，因为紧接着Conv2D的输入就是l_offset，接下来看一下ConvOffset2D类的定义(ConvOffset2D类在deform_conv目录下的layers.py中)：

class ConvOffset2D(Conv2D):"""ConvOffset2D"""def __init__(self, filters, init_normal_stddev=0.01, **kwargs):"""Init"""self.filters = filterssuper(ConvOffset2D, self).__init__(self.filters * 2, (3, 3), padding='same', use_bias=False,# TODO gradients are near zero if init is zeroskernel_initializer='zeros',# kernel_initializer=RandomNormal(0, init_normal_stddev),**kwargs)def call(self, x):# TODO offsets probably have no nonlinearity?x_shape = x.get_shape()offsets = super(ConvOffset2D, self).call(x)offsets = self._to_bc_h_w_2(offsets, x_shape)x = self._to_bc_h_w(x, x_shape)x_offset = tf_batch_map_offsets(x, offsets)x_offset = self._to_b_h_w_c(x_offset, x_shape)return x_offset

首先该类是Conv2D的子类，然后调用了父类的构造函数：参数filters改为2*self.filters，卷积核大小为(3, 3)，padding=‘same'。构造器所作的是利用keras.layers自带的Conv2D卷积得到每一个feature map的每一个pixel的横纵偏移量，因此改卷积的filters的数量变成了2倍，因为每一个输入的feature map会产生两个feature maps输出，分别表示输入的feature map中每一个pixel在横，纵坐标上的偏移量。并且，该卷积输出的feature maps必须和输入同尺寸，因为对应每一个pixel，所以卷积核固定为(3,3)，同时padding=’same‘。

然后把该ConvOffset2D类的对象直接像函数一样调用时，就相当于执行了call()方法，在call()方法中，调用父类的call()方法输入feature maps得到偏移量，通过self._to_bc_h_w_2()改变offsets维度到(b*c, h, w, 2)，然后改变feature maps维度到(b*c, h, w)，然后利用tf_batch_map_offsets()得到偏移后的feature maps，最后再通过self._to_b_h_w_c()恢复用于卷积的维度(b, h, w, c)。tf_batch_map_offsets()的代码如下(定义于目录deform_conv下的deform_conv.py文件中)：

def tf_batch_map_offsets(input, offsets, order=1):"""Batch map offsets into inputParameters---------input : tf.Tensor. shape = (b, s, s)offsets: tf.Tensor. shape = (b, s, s, 2)"""input_shape = tf.shape(input)batch_size = input_shape[0]input_size = input_shape[1]offsets = tf.reshape(offsets, (batch_size, -1, 2))grid = tf.meshgrid(tf.range(input_size), tf.range(input_size), indexing='ij')grid = tf.stack(grid, axis=-1)grid = tf.cast(grid, 'float32')grid = tf.reshape(grid, (-1, 2))grid = tf_repeat_2d(grid, batch_size)coords = offsets + gridmapped_vals = tf_batch_map_coordinates(input, coords)return mapped_vals

通过meshgrid得到网格坐标，加上偏移坐标就是偏移后的feature maps坐标对应值，只要把原feature maps的值映射过来就好(就是最后一步的tf_batch_map_coordinates)。

最后使用形变卷积的时候，ConvOffset2D的参数filter要注意，应该是上一个卷积的filters的数量，如下所示：

inputs = Input((48,48,1))
x = ConvOffset2D(1)(inputs)
x = Conv2D(16, (5,5), activation='relu')(x)
x = BatchNormalization()(x)
x = ConvOffset2D(16)(x)
x = Conv2D(16, (5,5), activation='relu')(x)
x = BatchNormalization()(x)
x = MaxPooling2D((2,2))(x)
x = ConvOffset2D(16)(x)
x = Conv2D(32, (5,5), activation='relu')(x)
x = BatchNormalization()(x)
x = ConvOffset2D(32)(x)
x = Conv2D(32, (5,5), activation='relu')(x)

卷积系列——形变卷积(Deformable convolution)代码理解和使用相关推荐

Deformable Convolution Networks
Deformable Convolution Networks 论文链接 1.双线性插值原理由于可形变卷积在获取偏移位置像素点时候,需要用到双线性插值,所以我就把它先放到上面,并附上参考链接: 参考 ...
Deep Learning论文笔记之（五）CNN卷积神经网络代码理解
Deep Learning论文笔记之(五)CNN卷积神经网络代码理解 zouxy09@qq.com http://blog.csdn.net/zouxy09 自己平时看了一些论文,但 ...
深度学习之 DCN（Deformable Convolution）-可变形卷积
Paper link: http://openaccess.thecvf.com/content_ICCV_2017/papers/Dai_Deformable_Convolutional_Netwo ...
输出分组_通过分组卷积的思想，巧妙的代码实现动态卷积(Dynamic Convolution)
论文的题目为<Dynamic Convolution: Attention over Convolution Kernels> paper的地址https://arxiv.org/pdf/ ...
可变形卷积系列(三) Deformable Kernels，创意满满的可变形卷积核 | ICLR 2020
论文提出可变形卷积核(DK)来自适应有效感受域,每次进行卷积操作时都从原卷积中采样出新卷积,是一种新颖的可变形卷积的形式,从实验来看,是之前方法的一种有力的补充. 来源:晓飞的算法工程笔记公众号 ...
空洞卷积（扩张卷积，带孔卷积，atrous convolution）的一些总结与理解
空洞卷积(扩张卷积,带孔卷积,atrous convolution)是一种区别于普通卷积的卷积方式,从字面理解,就是卷积层中有洞. 1.一维理解以一维为例: 图中(a)Input feature表示 ...
可变形卷积（Deformable Convolution）
可变形卷积前言: 一.可变形卷积 1.原文摘要(Abstract) 2.可变形卷积前言: 之前分了两次将深度学习中常用的各种卷积操作进行了汇总介绍,具体包括标准2D卷积.1×1卷积.转置卷积.膨胀 ...
Deformable Convolution 可变形卷积
可变形卷积概念出自2017年论文:Deformable Convolutional Networks 顾名思义,可变形卷积的是相对于标准卷积的概念而来. (a) 一个经典的 3×33 \tim ...
[论文理解]（未完成）形变卷积网络Warped Convolutions: Efficient Invariance to Spatial Transformations
1.几个问题 1.1 基本信息 PMLR 2017 1.2 做了什么将群卷积转换为了标准卷积,只要先对图像和卷积核进行某个特殊的预处理. 1.3 实现方法将群卷积扩展到连续空间,然后将群G限制为指 ...

卷积系列——形变卷积(Deformable convolution)代码理解和使用

卷积系列——形变卷积(Deformable convolution)代码理解和使用相关推荐

最新文章

热门文章