[深度学习从入门到女装]PReLU

论文地址：Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification

本文提出一种可学习的ReLU(Parametric Rectified Linear Unit)的改进版

如果ai=0，那么PReLU退化为ReLU；如果ai是一个很小的固定值(如ai=0.01)，则PReLU退化为Leaky ReLU(LReLU)。有实验证明，与ReLU相比，LReLU对最终的结果几乎没什么影响。

这篇文章中也提出一种针对PReLU和ReLU的参数初始化方法基于Xavier的改进详见https://blog.csdn.net/u012328159/article/details/80025785

Xavier initialization

适用于tanh

W=numpy.random.randn()* $\sqrt{\frac{1}{n_{in}}}$

He initialization

适用于ReLU

W=numpy.random.randn()* $\sqrt{\frac{2}{n_{in}}}$

$n_{in}$ 为上一层的神经元节点个数

参考：

1、https://blog.csdn.net/happynear/article/details/45440811

2、https://blog.csdn.net/shuzfan/article/details/51345832

[深度学习从入门到女装]PReLU相关推荐

[深度学习从入门到女装]V-Net
论文地址:V-Net: Fully Convolutional Neural Networks for Volumetric Medical Image Segmentation V-Net相当于对于 ...
[深度学习从入门到女装]keras实战-Unet3d（BRAST2015）
本文采用Unet3d进行BRAST2015数据集的分割 BRAST2015读取 BRAST2015数据集为脑部肿瘤分割的,数据集分为两类,一类为HGG(高分级胶质瘤),另一类为LGG(低分级胶质瘤) ...
[深度学习从入门到女装]DeepLab v3
DeepLab v3 论文地址:Rethinking Atrous Convolution for Semantic Image Segmentation 1.相比于DeepLab v2,有一点改进就 ...
[深度学习从入门到女装]DSFD: Dual Shot Face Detector
论文地址:https://arxiv.org/abs/1810.10220v2 Dual Shot Face Detector 这是一篇CVPR19来自腾讯的论文,本文是在SSD的基础上,加入了Fea ...
150页书籍《PyTorch 深度学习快速入门指南》附PDF电子版
为什么说是极简教程,首先本书只涵盖了150页.内容比较精简,特别适合作为 PyTorch 深度学习的入门书籍.为什么这么说呢?因为很多时候,一份厚重的书籍往往会削弱我们学习的积极性,在学习一门新的语言 ...
深度学习动手入门：GitHub上四个超棒的TensorFlow开源项目
原文:http://www.techweb.com.cn/news/2017-07-31/2566452.shtml 深度学习动手入门:GitHub上四个超棒的TensorFlow开源项目 2017. ...
深度学习---从入门到放弃（九）RNN入门
深度学习-从入门到放弃(九)RNN入门 1.RNN简介 RNN(Recurrent Neural Network)是一类用于处理序列数据的神经网络.回想一下我们之前说到过的CNN,它可以通过在空间上共 ...
深度学习---从入门到放弃(一)pytorch基础
深度学习-从入门到放弃(一)pytorch Tensor 类似于numpy的array,pandas的dataframe:在pytorch里的数据结构是tensor,即张量 tensor简单操作 1. ...
【机器学习】机器学习和深度学习概念入门
机器学习和深度学习概念入门(上) 作者:谭东来源:机器学习算法与自然语言处理目录 1 人工智能.机器学习.深度学习三者关系 2 什么是人工智能 3 什么是机器学习 4 机器学习之 ...
深度学习小白入门教程-基础环境篇
深度学习小白入门教程-基础环境篇如有图片显示失败,请回小主主页查看~ Anaconda 安装包下载方式一:官网(科学上网比较慢,不推荐) 安装包下载方式二:清华镜像(推荐) 具体安装步骤(跟着箭头来 ...

[深度学习从入门到女装]PReLU

[深度学习从入门到女装]PReLU相关推荐

最新文章

热门文章