Instance norm

本来这周已经写好了轻量级网络的总结（mobilenet和shufflenet)，可是没有来得及保存然后电脑就关机了，写博客也是为了学习东西，所以也不打算重新再写了。还是简要写一下最近用到的instance norm。
在目前的GAN和style transfer的任务中，目前的IN norm要好于BN，IN主要用于对单张图像的数据做处理，而BN主要是对Bacth的数据做处理。由于BN在训练时每个batch的均值和方差会由于shuffle都会改变，所以可以理解为一种数据增强，而IN可以理解为对数据做一个归一化的操作。
换句话说，BN的计算是要受其他样本影响的，由于每个batch的均值和标准差不稳定，对于单个数据而言，相对于是引入了噪声，但在分类这种问题上，结果和数据的整体分布有关系，因此需要通过BN获得数据的整体分布。而instance norm的信息都是来自于自身的图片，相当于对全局信息做了一次整合和调整，在图像转换这种问题上，BN获得的整体信息不会带来任何收益，带来的噪声反而会弱化实例之间的独立性。
总而言之，对于分类这种high level的问题，使用BN优于IN,对于Low level问题，IN优于BN,当然也会有例外，但是目前本人没有遇到过，如果有的话以后会及时分享。

Instance norm相关推荐

Batch Norm、Layer Norm、Instance Norm、Group Norm、Switchable Norm总结
转自https://blog.csdn.net/qq_41997920/article/details/89945972 目录 1.综述 1. BN 2. LN 3. IN 4. GN 5. SN 2 ...
详解常用的Batch Norm、Group Norm，Layer norm、Instance Norm
本文主要分析cv中常用的batch norm, group norm方法,由于目标检测中不常见,因此只是简单介绍并理解Layer norm和Instance Norm的概念.首先cv中用的最多的肯定是 ...
一文弄懂Batch Norm / Layer Norm / Instance Norm / Group Norm 归一化方法
文章目录前因总览 Batch Normalization Layer Normalization Instance Normalization Group Normalization 总结参考 ...
40_pytorch Batch Norm
1.37.Batch Normalization,批规范化 1.37.1.Batch Norm介绍 1.37.2.Intuitive explanation 1.37.3.Intuitive expl ...
Group Norm 学习笔记
论文:<Group Normalization> 地址:https://arxiv.org/pdf/1803.08494.pdf 优势:小批量训练时优势明显(相比另三个 Norm) 其他: ...
优化方法总结 Batch Normalization、Layer Normalization、Instance Normalization 及 Group Normalization
目录从 Mini-Batch SGD 说起 Normalization 到底是在做什么 Batch Normalization 如何做 3.1 前向神经网络中的 BN 3.2 CNN 网络中的 BN ...
Batch Normalization、Instance normalization简单理解
1. Batch Normalization 首先,简短介绍一下Batch Normalization,通常Batch Normalization更为大家所知,所以在此简要介绍BN来引入Instanc ...
深度学习中的Normalization模型（附实例公式）
来源:运筹OR帷幄本文约14000字,建议阅读20分钟. 本文以非常宏大和透彻的视角分析了深度学习中的多种Normalization模型,从一个新的数学视角分析了BN算法为什么有效. [ 导读 ]不 ...
不会编程也能做这么酷炫的视频风格迁移？这个工具冲上Reddit热榜，还能在线试玩...
点击上方,选择星标或置顶,不定期资源大放送! 阅读大概需要5分钟 Follow小博主,每天更新前沿干货这两天,Reddit上一则关于视频风格迁移的帖子火了,发布仅一天就冲上了机器学习社区的热榜第一. ...

Instance norm

Instance norm相关推荐

最新文章

热门文章