Tensorflow中PRelu实现细节

本次介绍PReLU激活函数，方法来自于何凯明paper 《Delving Deep into Rectifiers:Surpassing Human-Level Performance on ImageNet Classification》.

PReLU激活
PReLU的几点说明
PReLU激活

PReLU(Parametric Rectified Linear Unit), 顾名思义：带参数的ReLU。二者的定义和区别如下图：

如果ai=0，那么PReLU退化为ReLU；如果ai是一个很小的固定值(如ai=0.01)，则PReLU退化为Leaky ReLU(LReLU)。有实验证明，与ReLU相比，LReLU对最终的结果几乎没什么影响。

PReLU的几点说明
（1） PReLU只增加了极少量的参数，也就意味着网络的计算量以及过拟合的危险性都只增加了一点点。特别的，当不同channels使用相同的ai时，参数就更少了。

（2） BP更新ai时，采用的是带动量的更新方式，如下图：

上式的两个系数分别是动量和学习率。
需要特别注意的是：更新ai时不施加权重衰减(L2正则化)，因为这会把ai很大程度上push到0。事实上，即使不加正则化，试验中ai也很少有超过1的。

（3）整个论文，ai被初始化为0.25。

方法一：

def parametric_relu(_x):alphas = tf.get_variable('alpha', _x.get_shape()[-1],initializer=tf.constant_initializer(0.0),dtype=tf.float32)pos = tf.nn.relu(_x)neg = alphas * (_x - abs(_x)) * 0.5return pos + neg

方法二：

def prelu(_x, scope=None):"""parametric ReLU activation"""with tf.variable_scope(name_or_scope=scope, default_name="prelu"):_alpha = tf.get_variable("prelu", shape=_x.get_shape()[-1],dtype=_x.dtype, initializer=tf.constant_initializer(0.1))return tf.maximum(0.0, _x) + _alpha * tf.minimum(0.0, _x)

方法三：

import tensorflow as tfdef PReLU(_x, name=None):if name is None:name = "alpha"_alpha = tf.get_variable(name,shape=_x.get_shape(),initializer=tf.constant_initializer(0.0),dtype=_x.dtype)return tf.maximum(_alpha*_x, _x)

参考资料：

How to implement PReLU activation in Tensorflow?

深度学习——PReLU激活

Tensorflow中PRelu实现细节相关推荐

在TensorFlow中对比两大生成模型：VAE与GAN（附测试代码）
来源:机器之心本文长度为3071字,建议阅读6分钟本文在 MNIST 上对VAE和GAN这两类生成模型的性能进行了对比测试. 项目链接:https://github.com/kvmanohar22 ...
Tensorflow中实现leakyRelu
ReLU.LeakyReLU ReLU作为激活函数被广泛应用于各种深度神经网络中.在这篇博客中,我主要记录一下它和它的变种在caffe中的实现. 先看下来自wikipedia的一张示意图,图中蓝色的 ...
TensorFlow中RNN实现的正确打开方式
上周写的文章<完全图解RNN.RNN变体.Seq2Seq.Attention机制>介绍了一下RNN的几种结构,今天就来聊一聊如何在TensorFlow中实现这些结构,这篇文章的主要内容为: ...
TensorFlow 中文文档介绍
介绍本章的目的是让你了解和运行 TensorFlow 在开始之前, 先看一段使用 Python API 撰写的 TensorFlow 示例代码, 对将要学习的内容有初步的印象. 这段很短的 Pyth ...
Python 3深度置信网络(DBN)在Tensorflow中的实现MNIST手写数字识别
任何程序错误,以及技术疑问或需要解答的,请扫码添加作者VX:1755337994 使用DBN识别手写体传统的多层感知机或者神经网络的一个问题: 反向传播可能总是导致局部最小值. 当误差表面(erro ...
TensorFlow中的设备管理——Device的创建与注册机制
背景 [作者:DeepLearningStack,阿里巴巴算法工程师,开源TensorFlow Contributor] 作为一款优秀的异构深度学习算法框架,TensorFlow可以在多种设备上运行算 ...
TensorFlow中RNN实现的正确打开方式（转）
上周写的文章<完全图解RNN.RNN变体.Seq2Seq.Attention机制>介绍了一下RNN的几种结构,今天就来聊一聊如何在TensorFlow中实现这些结构,这篇文章的主要内容为: ...
深度学习PyTorch，TensorFlow中GPU利用率较低,使用率周期性变化的问题
在用tensorflow训练神经网络时,发现训练迭代的速度时而快时而慢,监督的GPU使用率也是周期性变化,通过了解,发现原因是: GPU在等待CPU读取,预处理,并传输数据过来,因此要提高GPU的使用 ...
Tensorflow中的各种梯度处理gradient
最近其实一直想自己手动创建op,这样的话好像得懂tensorflow自定义api/op的规则,设计前向与反向,注册命名,注意端口以及文件组织,最后可能还要需要重新编译才能使用.这一部分其实记得tens ...
在TensorFlow中使用深度学习GANs处理图像
设计师和摄影师用内容自动填补来补充图像中不想要的或缺失的部分.与之相似的技术还有图像完善和修复.实现内容自动填补,图像完善和修复的方法有很多.本文介绍的是 Raymond Yeh 和 Chen Che ...

Tensorflow中PRelu实现细节

Tensorflow中PRelu实现细节相关推荐

最新文章

热门文章