撸一撸 ICML2016的CReLU

此方法来源于：

ICML2016 Understanding and Improving Convolutional Neural Networks via Concatenated Rectified Linear Units.

这篇论文~~

实验代码：https://github.com/albanie/CReLU

可以在理解原理的基础上撸一遍。

在tensorflow中也集成了这个CRelu，API为：tf.nn.crelu()

论文作者在 AlexNet 的模型上做了一个有趣的实验，发现：低层的卷积层中的一些滤波器核存在着负相关程度很高的滤波器核，而层次越高的卷积层，这一现象越不明显。作者把这一现象称为 pairing phenomenon。这是基础思想。

文中提到一个叫pair filter的概念，定义如下：

设网络的某层卷积层的滤波器组的卷积核组表示为ϕ⃗ 1,ϕ⃗ 2,⋯,ϕ⃗ n，定义的 pairing filter 为ϕ⃗ ∗i=argminϕ⃗ j⟨ϕ⃗ i,ϕ⃗ j⟩，其中j=1,2,⋯,n，n 为该层卷积层的滤波器数目。滤波器 ϕ⃗ i 和 ϕ⃗ ∗i 之间的余弦相似度记为

μϕi

下图中蓝色表示：

计算cos相似度得到统计直方图~~

我们看第一卷积层conv1，蓝色的直方图分布以-0.5为中心点，均匀分布，也就是说有较多成对的滤波器。越到后面的层，比如conv5蓝色的直方图分布越集中，成对的滤波器越少.

CReLU是为了消除 ReLU 带来的冗余而提出，设[⋅]+=max(⋅,0)，则 CReLU 定义如下：

CReLU（x）=（[-x]+,[x]+）

举个栗子，-1带入公式，则CReLU(-1)=(0,1)。

在实际中用的时候，需要注意，你要输入的特征图个数是ReLU时的一半即可。

撸一撸 ICML2016的CReLU相关推荐

2017菜鸡C与C++工程师总结，撸码撸码，垃圾专科生撸码人生
前言年底了,对工作做一个总结.又要感叹那句话啊,时光流水,仿佛昨天才刚毕业,到今天不知不觉已经正式工作半年了.文章以po主自己的心理想法和所见所闻入手来写,垃圾专科生,文笔不好勿怪.开始正文吧. 关 ...
【已解】英雄联盟lol撸啊撸“寻找对局”按钮无法点击，开不了赛解决方法
问题描述 lol现在已经有些年头了,随着时间的推移,客户端是越来越漂亮,越来越简洁,但实际上也越来越占CPU和内存,有这么一种情况,在进入队列界面后,选择好自己要打的位置,没法点击寻找对局,导致lol ...
撸一撸Spring Framework-IoC-概述
撸一撸Spring Framework-IoC系列文章目录 IoC概述 BeanFactory ApplicationContext BeanDefinition BeanWrapper 资源管理利器 ...
撸一撸今年阿里，华为，百度，腾讯，美团，头条，滴滴等的面试题
2019年被很多人称之为是互联网的寒冬.那我们就来撸一撸2019年截止到现在的一线大厂的面试题,看看这个2019对我们自己来说,是不是一个寒冬? 面试题整理包含阿里/华为/百度/腾讯/美团/头条/滴滴 ...
撸啊撸，再次撸HashMap源码，踩坑源码中构造方法！！！每次都有收获
前言点赞在看,养成习惯. 点赞收藏,人生辉煌. 点击关注[微信搜索公众号:编程背锅侠],第一时间获得最新文章. HashMap系列文章第一篇 HashMap源码中的成员变量你还不懂? 来来来!!! ...
会撸猫了不起啊？有本事自己写一个撸猫撸鱼撸飞机才是牛逼
内容 | 蔡一北京志顶科技技术总监整理 | Aholiab 「撸猫」游戏是2月8日上线iOS版的中国区,有个很有意思的中文名,叫「谜恋猫」.它背后是基于ERC721协议的,因为ERC20标准通证 ...
那一顿，我撸串撸懂了云计算！
来源:鲜枣课堂(xzclasscom) 周末快到了,李雷和他的几位小伙伴们约好,一起去春游.烧烤. 于是,到了这天,每个小伙伴都带来了烧烤所需的器材和食材: 大家带的器材和食材 (每人都带齐了一整套) ...
【撸啊撸 Docker】搭建 Jenkins
2019独角兽企业重金招聘Python工程师标准>>> 1.拉取 Jenkins 镜像: docker pull jenkins # 版本只有一个,2.46.2 2.运行 Jenki ...
撸一撸腾讯的微信支付（C#）
一.前言以往网上支付都是支付宝的天下,随着微信用户群的日益增多(其实,到现在我也不理解微信为嘛那么火,功能还没QQ强大,或许是公众号的原因?),先如今不上个微信支付你都不好意思说你系统支持在线支付. ...

撸一撸 ICML2016的CReLU

撸一撸 ICML2016的CReLU相关推荐

最新文章

热门文章