PRelu--Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification
微软研究院2015的一篇论文。
1.概要：
PRelu其实是Relu的增强版，PRelu使得模型在ImageNet2012上的结果提高到4.94%，超过普通人的正确率；PRelu需要像更新权重weights一样使用BP更新一个额外的参数，但是相较于weights的数量来说，PRelu需要更新的参数总数可以忽略不计，所以不会加重overfitting的影响。
如果PRelu的参数为0，那其实就是Relu；如果PRelu的参数为一个很小的常数constant，比如0.01,那其实就是Leaky Relu(LRelu)。
Relu与PRelu的比较：
PRelu的表达式：
2.idea：
1): 每一个feature map（CNN）对应的PRelu的系数都可以是不同的,也可以是相同层的PRelu的系数都一样，层间不同。
2): 作者在实验的时候都是将系数初始化为0.25
3): 优化的时候不会对PRelu的系数进行regularization，否则会让系数趋近于0，基本相当于LRelu或者Relu了。
3.流程：
PRelu的系数也是在BP的时候进行优化的，与weights的方式一样
目标函数对PRelu的系数求偏导：
优化：
4.代码（keras）：
class PReLU(MaskedLayer):'''Reference:Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classificationhttp://arxiv.org/pdf/1502.01852v1.pdf'''def __init__(self, input_shape, init='zero', weights=None):super(PReLU, self).__init__()self.init = initializations.get(init)self.alphas = self.init(input_shape)self.params = [self.alphas]self.input_shape = input_shapeif weights is not None:self.set_weights(weights)def get_output(self, train):X = self.get_input(train)pos = ((X + abs(X)) / 2.0)neg = self.alphas * ((X - abs(X)) / 2.0)return pos + negdef get_config(self):return {"name": self.__class__.__name__,"input_shape": self.input_shape,"init": self.init.__name__}PRelu--Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification相关推荐
- Paper：He参数初始化之《Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet C》的翻译与解读
Paper:He参数初始化之<Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Class ...
- 《Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification》阅读笔记与实现
本期要讲的是来自MSRA的何恺明的论文<Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet ...
- 【CV-Paper 19】PReLU：Delving Deep into Rectifiers
论文原文:LINK 论文年份:2015 论文被引:9108(2020/10/09) 15056(2022/03/26) 文章目录 Delving Deep into Rectifiers: Surpa ...
- 2020 Deep Learning for Sensor-based Human ActivityRecognition Overview, Challenges and Opportunities
2020 Deep Learning for Sensor-based Human ActivityRecognition: Overview, Challenges and Opportunitie ...
- 《每日论文》ImageNet Classification with Deep Convolutional Neural Networks
这篇论文是剖析 CNN 领域的经典之作,也是入门 CNN 的必读论文.作者训练了一个面向数量为 1.2 百万的高分辨率的图像数据集 ImageNet, 图像的种类为 1000 种的深度卷积神经网络. ...
- AlexNet论文翻译（中英文对照版）-ImageNet Classification with Deep Convolutional Neural Networks
图像分类经典论文翻译汇总:[翻译汇总] 翻译pdf文件下载:[下载地址] 此版为中英文对照版,纯中文版请稳步:[AlexNet纯中文版] ImageNet Classification with De ...
- ImageNet Classification with Deep Convolutional Neural Networks论文翻译——中英文对照
文章作者:Tyan 博客:noahsnail.com | CSDN | 简书 翻译论文汇总:https://github.com/SnailTyan/deep-learning-papers- ...
- 论文研读 —— 6. ImageNet Classification with Deep Convolutional Neural Networks (1/3)
文章目录 Authors and Publishment Authors Bibtex Abstract 1. Introduction 2. The Dataset Authors and Publ ...
- 经典DL论文研读(part4)--ImageNet Classification with Deep Convolutional Neural Networks
学习笔记,仅供参考,有错必纠 文章目录 ImageNet Classification with Deep Convolutional Neural Networks 摘要 Introduction ...
最新文章
- 基于TF-IDF编码进行文本聚类分析：文档成对相似性计算、层次聚类（链接矩阵、树形图dendrogram绘制、聚类标签）
- scrum 敏捷开发
- java 匿名类 实现接口_细谈 Java 匿名内部类 【分别 使用 接口 和 抽象类实现】...
- VTK：相互作用之MoveAVertexUnstructuredGrid
- C# 三层级架构问题之 能加载文件或程序集或它的某一个依赖项。系统找不到指定的文件
- 设计模式——Decorator 装饰模式
- 从Gartner报告，看中国数据库崛起
- 多线程启动定时器 会等待上一次执行完成?_Java多线程
- MySQL空闲会话_使用Oracle PROFILE控制会话空闲时间
- 大众CEO迪斯承认芯片仍短缺
- junit return null该怎么测试_3 分钟生成一个单元测试报告，这个样式爱了
- python 成员运算符_Python的“ in”和“ not in”成员资格运算符
- 苹果出现长方形透明框_安卓还像苹果用户所说用两年就卡吗？|安卓|安卓系统|安卓手机|苹果ios...
- 初识 Speex 语音压缩
- java 导出word文件，支持导出表格和图片
- LiveZilla 详细 配置 设置 (四) 查看成果及总结
- 关于学习计算机的经验
- 教你几个Excel常用的数据分析技巧！
- python表示整数的点称为整点_礼行天下 仪动职场智慧树网课答案
- 广州华锐互动提供商场AR大屏互动制作一站式解决方案