教你用TensorFlow实现VGGNet

勿满足于眼前的小小成就。你要问自己，我这辈子只有这样吗。

VGGNet 是牛津大学计算机视觉组（ Visual Geometry Group〉和 Google DeepMind公司的研究员一起研发的的深度卷积神经网络。VGGNet探索了卷积神经网络的深度与其性能之间的关系，通过反复堆叠3x3的小型卷积核和2x2的晟大池化层，VGGNet成功地
构筑了 16~19层深的卷积神经网络。VGGNet相比之前state-of-the-art的网络结相，错误率大幅下降，并取得了 ILSVRC 2014比赛分类项目的第2名和定位项目的第1名，同时VGGNct的拓展性很强，迁移到其他图片数据上的泛化性非常好。VGGNet的结构非常简洁，整个网络都使用了同样大小的卷积核尺寸（3x3)和最大池化尺寸（2x2)。到目前为止，VGGNet依然经常被甩来提取图像特征。VGGNel训练后的模型参数在其官方网站上开源了，可用来在domain_specific的图像分类任务上进行再训练（相当于提供了非常好的初始化权重)，因此被用在了很多地方。

作者在对比各级网络时总结了一下观点：

LRN层作用不大
越深的网络效果越好
1X1的卷积也是很有效的，但是没有3X3的卷积好，大一些的卷积核可以学习更大的空间特征

VGGNet训练时使用了 4块Geforce GTX Titan GPU并行计算，速度比单块GPU快3.75倍，几乎没有太多性能损耗。但是，每个网络耗时2〜3周才可以训练完。因此我们这里不直接使用mageNet数据训练一个VGGNet,而是采用跟AlexNet —样的方式：构
造出VGGNet网络结构，并评测其forward (inference )耗时和backward (training)耗时。

我们要实现的是VGGNet-16,首先需要导入几个常用库

from datetime import datetime
import math
import time
import tensorflow as tf

定义一个函数用来创建卷积层并把本层的参数存入参数列表。input_op是输入的tensor，name是这一层的名称，kw，kh是卷积核的宽高,n_out是输出通道数，dw,dh是步长的宽高，p是参数列表。使用get_shape()[-1].value获取输入input_op的通道数，然后使用tf.name_scope()设置scope，使用tf.get_variable创建卷积核参数。

使用tf.contrib.layers.xavier_initializer_conv2d()来做参数初始化

接着使用tf.nn.conv2d对input_op进行卷积处理，卷积核即为kernel,步长是dhXdw，padding模式设为SAME。 biases使用tf.constant赋值为0，再使用tf.Variable将其转成可训练的参数。使用tf.nn.bias_add将卷积结果conv与bias相加，再使用tf.nn.rcki对其进行非线性处理得到activation。最后将创建卷积层时用到的参数kernel和biases添加进参数列表P，并将卷积层的输出activation作为函数结果返回。

def conv_op(input_op, name, kh, kw, n_out, dh, dw, p):n_in = input_op.get_shape()[-1].valuewith tf.name_scope(name) as scope:kernel = tf.get_variable(scope + "w", shape=[kh, kw, n_in, n_out], dtype=tf.float32,initializer=tf.contrib.layers.xavier_initializer_conv2d())conv = tf.nn.conv2d(input_op, kernel, (1, dh, dw, 1), padding='SAME')bias_init_val = tf.constant(0.0, shape=[n_out], dtype=tf.float32)biases = tf.Variable(bias_init_val, trainable=True, name='b')z = tf.nn.bias_add(conv, biases)activation = tf.nn.relu(z, name=scope)p += [kernel, biases]return activation

定义全连接层的创建函数fc_op。一样是先获取输入input_op的通道数，然后使用tf.get_variable创建全连捡层的参数，只不过参数的维度只有两个，第一个维度为输入的通道数n_in, 第二个维度为输出的通道数n_out,同样，参数初始化方法也使用xavicr_initiaHzei■。这里biases不再初始化为0，而是赋予一个较小的値0.1以避免死亡节点。然后使用tf.nn_rclu_layer对输入变量input_op与kernel做矩阵乘法并加上biases,再做ReLU非线性变换得到activation。最后将这个全连接层用到参数kernel、biases添加到参数P，并将actication作为函数结果返回。

def fc_op(input_op, name, n_out, p):n_in = input_op.get_shape()[-1].valuewith tf.name_scope(name) as scope:kernel = tf.get_variable(scope + 'w', shape=[n_in, n_out], dtype=tf.float32,initializer=tf.contrib.layers.xavier_initializer())biases = tf.Variable(tf.constant(0.1, shape=[n_out], dtype=tf.float32), name='b')activation = tf.nn.relu_layer(input_op, kernel, biases, name=scope)p += [kernel, biases]return activation

定义最大池化层的创建函数mpool_op，直接使用tf.nn.max_pool，输入为input_op，池化尺寸为khXkw，步长为dhXdw,padding模式为SAME。

def mpool_op(input_op, name, kh, kw, dh, dw):return tf.nn.max_pool(input_op, ksize=[1, kh, kw, 1], strides=[1, dh, dw, 1], padding='SAME', name=name)

开始创建VGGNet-16的网络结构，一共分6个部分，前5个部分是卷积网络，最后一段是全连接网络。

前两段卷积网络都是由两个卷积层和一个最大池化层组成。

后三段卷积网络都是由三层卷积网络金和一个最大池化层组成。

这些卷积层的卷积核大小都是3X3，步长都是1X1，输出通道依次递增64,54,128,128,256,256,256,512,512,512,512,512,512

池化层的尺寸和步长都为2X2

在第五段之后将输出结果使用tf.reshape扁平化,连接一个隐含节点数为4096的全连接层，激活函数为ReLU,再连接一个Dropout层，训练时节点保留率为0.5,预测时为0.1

再连接一层和前面一样的全连接和Dropout层

最后连接一个有1000个隐含节点的全连接层，并使用Softmax进行处理得到分类输出概率，用tf.argmax求出输出概率最大的类别

def inference_op(input_op, keep_prob):p = []conv1_1 = conv_op(input_op, name='conv1_1', kh=3, kw=3, n_out=64, dh=1, dw=1, p=p)conv1_2 = conv_op(conv1_1, name='conv1_2', kh=3, kw=3, n_out=64, dh=1, dw=1, p=p)pooll = mpool_op(conv1_2, name='pool1', kh=2, kw=2, dw=2, dh=2)conv2_1 = conv_op(pooll, name='conv2_1', kh=3, kw=3, n_out=128, dh=1, dw=1, p=p)conv2_2 = conv_op(conv2_1, name='conv2_2', kh=3, kw=3, n_out=128, dh=1, dw=1, p=p)pool2 = mpool_op(conv2_2, name='pool2', kh=2, kw=2, dh=2, dw=2)conv3_1 = conv_op(pool2, name='conv3_1', kh=3, kw=3, n_out=256, dh=1, dw=1, p=p)conv3_2 = conv_op(conv3_1, name='conv3_2', kh=3, kw=3, n_out=256, dh=1, dw=1, p=p)conv3_3 = conv_op(conv3_2, name='conv3_3', kh=3, kw=3, n_out=256, dh=1, dw=1, p=p)pool3 = mpool_op(conv3_3, name='pool3', kh=2, kw=2, dh=2, dw=2)conv4_1 = conv_op(pool3, name='conv4_1', kh=3, kw=3, n_out=512, dh=1, dw=1, p=p)conv4_2 = conv_op(conv4_1, name='conv4_2', kh=3, kw=3, n_out=512, dh=1, dw=1, p=p)conv4_3 = conv_op(conv4_2, name='conv4_3', kh=3, kw=3, n_out=512, dh=1, dw=1, p=p)pool4 = mpool_op(conv4_3, name='pool4', kh=2, kw=2, dh=2, dw=2)conv5_1 = conv_op(pool4, name='conv5_1', kh=3, kw=3, n_out=512, dh=1, dw=1, p=p)conv5_2 = conv_op(conv5_1, name='conv5_2', kh=3, kw=3, n_out=512, dh=1, dw=1, p=p)conv5_3 = conv_op(conv5_2, name='conv5_3', kh=3, kw=3, n_out=512, dh=1, dw=1, p=p)pool5 = mpool_op(conv5_3, name='pool5', kh=2, kw=2, dw=2, dh=2)shp = pool5.get_shape()flattened_shape = shp[1].value * shp[2].value * shp[3].valueresh1 = tf.reshape(pool5, [-1, flattened_shape], name='resh1')fc6 = fc_op(resh1, name='fc6', n_out=4096, p=p)fc6_drop = tf.nn.dropout(fc6, keep_prob, name='fc6_drop')fc7 = fc_op(fc6_drop, name='fc7', n_out=4096, p=p)fc7_drop = tf.nn.dropout(fc7, keep_prob, name='fc7_drop')fc8 = fc_op(fc7_drop, name='fc8', n_out=1000, p=p)softmax = tf.nn.softmax(fc8)predictions = tf.argmax(softmax, 1)return predictions, softmax, fc8, p

定义评测函数，大体上和上一篇文章讲的相似，区别在于在session.run()中引入了feed_dict，方便后面传入keep_prob来控制Dropout层的保留比率。

def time_tensorflow_run(session, target, feed, info_string):num_steps_burn_in = 10total_duration = 0.0total_duration_squared = 0.0for i in range(num_batches + num_steps_burn_in):start_time = time.time()_ = session.run(target, feed_dict=feed)duration = time.time() - start_timeif i >= num_steps_burn_in:if not i % 10:print('%s: step %d,duration= %.3f' % (datetime.now(), i - num_steps_burn_in, duration))total_duration += durationtotal_duration_squared += duration * durationmn = total_duration / num_batchesvr = total_duration_squared / num_batches - mn * mnsd = math.sqrt(vr)print('%s: %s across %d steps, %.3f +/- %.3f sec/batch' % (datetime.now(), info_string, num_batches, mn, sd))def run_benchmark():with tf.Graph().as_default():image_size = 224images = tf.Variable(tf.random_normal([batch_size, image_size, image_size, 3], dtype=tf.float32, stddev=1e-1))keep_prob = tf.placeholder(tf.float32)predictions, softmax, fc8, p = inference_op(images, keep_prob)init = tf.global_variables_initializer()sess = tf.Session()sess.run(init)time_tensorflow_run(sess, predictions, {keep_prob: 1.0}, 'Forward')objective = tf.nn.l2_loss(fc8)grad = tf.gradients(objective, p)time_tensorflow_run(sess, grad, {keep_prob: 0.5}, 'Forward-backward')

开始训练

batch_size = 32
num_batches = 100
run_benchmark()

你跑出来的结果大概是这样子的，因为我电脑上的GPU不支持GPU加速所以只能使用CPU跑，很慢。如果你想要训练图片分类模型可以将里面随机生成的图片数据换成数据集

2018-12-12 19:00:13.613267: step 0,duration= 12.318
2018-12-12 19:02:24.378325: step 10,duration= 11.982
2018-12-12 19:04:16.319532: step 20,duration= 11.173
2018-12-12 19:06:10.084819: step 30,duration= 11.261
2018-12-12 19:08:08.133246: step 40,duration= 12.033
2018-12-12 19:10:03.608293: step 50,duration= 11.531
2018-12-12 19:11:59.739291: step 60,duration= 11.599
2018-12-12 19:14:00.238291: step 70,duration= 12.148
2018-12-12 19:15:59.480806: step 80,duration= 12.508
2018-12-12 19:18:07.685465: step 90,duration= 11.691
2018-12-12 19:19:54.632671: Forward across 100 steps, 11.933 +/- 0.882 sec/batch
2018-12-12 19:26:44.429814: step 0,duration= 37.432
2018-12-12 19:32:56.634669: step 10,duration= 36.793

教你用TensorFlow实现VGGNet相关推荐

手把手教你用 TensorFlow 实现文本分类（下）
手把手教你用 TensorFlow 实现文本分类(下) 本文作者:AI研习社 2017-05-29 13:36 导语:文本分类全流程解析. 雷锋网(公众号:雷锋网)按:本文作者张庆恒,原文载于作者个人 ...
报名 | NVIDIA线下交流会：手把手教你搭建TensorFlow Caffe深度学习服务器
7月21日(周六)下午14:30,量子位与NVIDIA英伟达开发者社区联合举办线下交流会,拥有丰富一线开发经验的NVIDIA开发者社区经理Ken He,将手把手教你搭建TensorFlow & ...
实战七：手把手教你用TensorFlow进行验证码识别（上）
实战七:手把手教你用TensorFlow进行验证码识别(上) github下载地址目录准备模型开发环境生成验证码数据集输入与输出数据处理模型结构设计模型损失函数设计模型训练过程分析模型 ...
手把手教你使用TensorFlow训练出自己的模型
手把手教你使用TensorFlow训练出自己的模型一.前言搭建TensorFlow开发环境一直是初学者头疼的问题,为了帮忙初学者快速使用TensorFlow框架训练出自己的模型,作者开发了一款基于 ...
TensorFlow实现VGGNet
一.VGGNet简介 VGGNet是牛津大学计算机视觉组和Google DeepMind公司的研究员一起研发的深度卷积神经网络.VGGNet探索了卷积神经网络的深度与其性能之间的关系,通过反复堆叠的小 ...
实战六：手把手教你用TensorFlow进行手写数字识别
手把手教你用TensorFlow进行手写数字识别 github下载地址目录手写体数字MNIST数据集介绍 MNIST Softmax网络介绍实战MNIST Softmax网络 MNIST CNN ...
今晚直播 | 谷歌资深工程师手把手教你使用TensorFlow最新API构建学习模型
目前,深度学习的研究和应用大受追捧,各种开源的深度学习框架层出不穷.TensorFlow 作为目前最受欢迎的深度学习框架,已经在 GitHub 上获得了 112194 个 star,受欢迎程序可见一斑 ...
官方资源帖！手把手教你在TensorFlow 2.0中实现CycleGAN，推特上百赞
铜灵发自凹非寺量子位出品| 公众号 QbitAI CycleGAN,一个可以将一张图像的特征迁移到另一张图像的酷算法,此前可以完成马变斑马.冬天变夏天.苹果变桔子等一颗赛艇的效果. 这行被顶会 ...
tensorflow 小于_坐姿不对，屏幕就变模糊！教你用TensorFlow做一款“隐形背背佳”...
大数据文摘出品作为一个上班族,每天坐在电脑前那么久,难免出现腰酸背痛的情况,时间长了甚至脊柱都歪曲变形了,这可不行!一定要克制住自己的坐姿. 这里有款"隐形背背佳",要不要了解一 ...

教你用TensorFlow实现VGGNet

教你用TensorFlow实现VGGNet相关推荐

最新文章

热门文章