[论文分享/阅读]Normalization/正则化分享总结

作用：
加速训练：防止训练震荡，防止训练过早饱和[数据分布在两端]
//没有用 BN 的时候, 每层的值迅速全部都变为 0, 也可以说, 所有的神经元都已经死了. 而有 BN, relu 过后, 每层的值都能有一个比较好的分布效果, 大部分神经元都还活着.
可以达到更好的精度
Normalization
https://www.zhihu.com/question/20924039
BN
https://zhuanlan.zhihu.com/p/93643523
https://morvanzhou.github.io/tutorials/machine-learning/tensorflow/5-13-BN/#compare #莫烦教程
https://zhuanlan.zhihu.com/p/24810318

if norm:    # 判断书否是 BN 层fc_mean, fc_var = tf.nn.moments(Wx_plus_b,axes=[0],   # 想要 normalize 的维度, [0] 代表 batch 维度# 如果是图像数据, 可以传入 [0, 1, 2], 相当于求[batch, height, width] 的均值/方差, 注意不要加入 channel 维度)scale = tf.Variable(tf.ones([out_size]))shift = tf.Variable(tf.zeros([out_size]))epsilon = 0.001Wx_plus_b = tf.nn.batch_normalization(Wx_plus_b, fc_mean, fc_var, shift, scale, epsilon)# 上面那一步, 在做如下事情:# Wx_plus_b = (Wx_plus_b - fc_mean) / tf.sqrt(fc_var + 0.001)# Wx_plus_b = Wx_plus_b * scale + shift# 如果你已经看不懂了, 请去我最上面学习资料里的链接 (我制作的 Batch normalization 简介视频)

LRN
https://blog.csdn.net/yangdashi888/article/details/77918311
报告：

Normalization: 操纵统计分布的隐形之手
报告嘉宾：邵文琪 (The Chinese University of Hong Kong)
报告时间：2021年7月28日 (星期三)晚上20:20
报告题目：Channel Equilibrium Network for Learning Deep Representation
个人主页：https://scholar.google.com/citations?user=Bs9mrwwAAAAJ&hl=en
报告地址：http://valser.org/article-433-1.html
https://www.bilibili.com/video/BV19q4y1H7ra

报告嘉宾：Boyi Li (Cornell University)
报告时间：2021年7月28日 (星期三)晚上20:00 (北京时间)
报告题目：Learning to learn normalization
个人主页：https://sites.google.com/site/boyilics/home
报告地址：http://valser.org/article-433-1.html
https://www.bilibili.com/video/BV16341167ku

时间：2021年7月28日晚20点
主题：Normalization: 操纵统计分布的隐形之手
主持人: 张瑞茂 (香港中文大学深圳校区)
嘉宾：Boyi Li (Cornell University)，邵文琪 (The Chinese University of Hong Kong)，高尚华 (南开大学)，龙明盛 (清华大学)，孙若愚 (伊利诺伊大学香槟分校)，张辉帅 (微软亚洲研究院)，黄雷 (北京航空航天大学)
地址：http://valser.org/article-433-1.html
https://www.bilibili.com/video/BV1UV411p741

[论文分享/阅读]Normalization/正则化分享总结相关推荐

科研效率直线提升！如何一键下载会议论文？ACL 2020 论文代码批量下载打包分享
ACL 2020 论文代码批量下载打包分享 1. 提取代码 2. EndNote批量导入,看论文可以如此轻松! 3. 论文批量分享全文总结如何通过代码批量自动化爬取会议论文代码如下,其他会议同 ...
学术论文投稿与Rebuttal经验分享
点击上方"视学算法",选择加"星标"或"置顶" 重磅干货,第一时间送达作者丨叶茫@知乎(已授权) 来源丨https://zhuanlan. ...
武汉大学计算机学院论文,武大计算机学院教授分享：学术论文投稿与Rebuttal经验...
原标题:武大计算机学院教授分享:学术论文投稿与Rebuttal经验新智元推荐来源:知乎作者:叶茫 [新智元导读]本文以笔者近期的几篇论文投稿为例,分享一篇实用的论文学术论文投稿与返修(Rebu ...
全国大学生数学建模竞赛国家一等奖论文数学模型超全资料分享小白必备资料
全国大学生数学建模竞赛国家一等奖论文数学模型超全资料分享小白必备资料全国大学生数学建模竞赛属于教育部认可的最高级别A类竞赛若获得国奖,保研竞赛类别加分几乎能加满. 因此,想保研的学弟学妹们一定要搞 ...
全国大学生交通科技大赛交科赛交通运输科技大赛智能交通创新技术应用大赛国家三等奖论文文字作品资料经验分享
点开视频后,再点视频下方<展开全文>直接看国奖文字等超全资料截图哦.(小白必看)全国大学生交通科技大赛交科赛交通运输科技大赛智能交通创新技术应用大赛国家三等奖论文文字作品资料经验分享这个 ...
论文写作，上课收获分享
一.咋写论文 1.标题标题要起得亮眼, 吸引住别人的眼球. 要利于检索, 因为文章写出来就是给别人看的嘛, 论文的被引用数量还是很重要的. 尽量不使用 based on, 因为会显得烂大街. 长度最 ...
Java jsp 人力资源管理系统，飞机票网上订购系统，快递管理系统毕业设计论文+成套源码免费分享
Java jsp 人力资源管理系统,飞机票网上订购系统,快递管理系统毕业设计论文+成套源码免费分享论文分享地址1:http://www.lovebiye.com/arcType/sec/27.h ...
A Survey of Deep Learning-based Object Detection论文翻译 + 阅读笔记
A Survey of Deep Learning-based Object Detection论文翻译 + 阅读笔记 //2022.1.7 日下午16:00开始阅读双阶段检测器示意图单阶段检测器 ...
手把手带你掌握计算机视觉原始论文细节阅读
人工智能研究在本质上是学术性的,在你能够获得人工智能的某些细节之前,需要掌握大量的跨各类学科的知识. 那么,阅读原始论文在学习的过程中有多重要? 原始论文细节阅读是互联网大厂人工智能岗位面试必考题,也 ...

[论文分享/阅读]Normalization/正则化分享总结

[论文分享/阅读]Normalization/正则化分享总结相关推荐

最新文章

热门文章