tensorflow 1.0 学习:参数初始化(initializer)
CNN中最重要的就是参数了,包括W,b。 我们训练CNN的最终目的就是得到最好的参数,使得目标函数取得最小值。参数的初始化也同样重要,因此微调受到很多人的重视,那么tf提供了哪些初始化参数的方法呢,我们能不能自己进行初始化呢?
所有的初始化方法都定义在tensorflow/python/ops/init_ops.py
1、tf.constant_initializer()
也可以简写为tf.Constant()
初始化为常数,这个非常有用,通常偏置项就是用它初始化的。
由它衍生出的两个初始化方法:
a、 tf.zeros_initializer(), 也可以简写为tf.Zeros()
b、tf.ones_initializer(), 也可以简写为tf.Ones()
例:在卷积层中,将偏置项b初始化为0,则有多种写法:
conv1 = tf.layers.conv2d(batch_images, filters=64,kernel_size=7,strides=2,activation=tf.nn.relu,kernel_initializer=tf.TruncatedNormal(stddev=0.01)bias_initializer=tf.Constant(0),)
或者:
bias_initializer=tf.constant_initializer(0)
或者:
bias_initializer=tf.zeros_initializer()
或者:
bias_initializer=tf.Zeros()
例:如何将W初始化成拉普拉斯算子?
value = [1, 1, 1, 1, -8, 1, 1, 1,1] init = tf.constant_initializer(value) W= tf.get_variable('W', shape=[3, 3], initializer=init)
2、tf.truncated_normal_initializer()
或者简写为tf.TruncatedNormal()
生成截断正态分布的随机数,这个初始化方法好像在tf中用得比较多。
它有四个参数(mean=0.0, stddev=1.0, seed=None, dtype=dtypes.float32),分别用于指定均值、标准差、随机数种子和随机数的数据类型,一般只需要设置stddev这一个参数就可以了。
例:
conv1 = tf.layers.conv2d(batch_images, filters=64,kernel_size=7,strides=2,activation=tf.nn.relu,kernel_initializer=tf.TruncatedNormal(stddev=0.01)bias_initializer=tf.Constant(0),)
或者:
conv1 = tf.layers.conv2d(batch_images, filters=64,kernel_size=7,strides=2,activation=tf.nn.relu,kernel_initializer=tf.truncated_normal_initializer(stddev=0.01)bias_initializer=tf.zero_initializer(),)
3、tf.random_normal_initializer()
可简写为 tf.RandomNormal()
生成标准正态分布的随机数,参数和truncated_normal_initializer一样。
4、random_uniform_initializer = RandomUniform()
可简写为tf.RandomUniform()
生成均匀分布的随机数,参数有四个(minval=0, maxval=None, seed=None, dtype=dtypes.float32),分别用于指定最小值,最大值,随机数种子和类型。
5、tf.uniform_unit_scaling_initializer()
可简写为tf.UniformUnitScaling()
和均匀分布差不多,只是这个初始化方法不需要指定最小最大值,是通过计算出来的。参数为(factor=1.0, seed=None, dtype=dtypes.float32)
max_val = math.sqrt(3 / input_size) * factor
这里的input_size是指输入数据的维数,假设输入为x, 运算为x * W,则input_size= W.shape[0]
它的分布区间为[ -max_val, max_val]
6、tf.variance_scaling_initializer()
可简写为tf.VarianceScaling()
参数为(scale=1.0,mode="fan_in",distribution="normal",seed=None,dtype=dtypes.float32)
scale: 缩放尺度(正浮点数)
mode: "fan_in", "fan_out", "fan_avg"中的一个,用于计算标准差stddev的值。
distribution:分布类型,"normal"或“uniform"中的一个。
当 distribution="normal" 的时候,生成truncated normal distribution(截断正态分布) 的随机数,其中stddev = sqrt(scale / n) ,n的计算与mode参数有关。
如果mode = "fan_in", n为输入单元的结点数;
如果mode = "fan_out",n为输出单元的结点数;
如果mode = "fan_avg",n为输入和输出单元结点数的平均值。
当distribution="uniform”的时候 ,生成均匀分布的随机数,假设分布区间为[-limit, limit],则
limit = sqrt(3 * scale / n)
7、tf.orthogonal_initializer()
简写为tf.Orthogonal()
生成正交矩阵的随机数。
当需要生成的参数是2维时,这个正交矩阵是由均匀分布的随机数矩阵经过SVD分解而来。
8、tf.glorot_uniform_initializer()
也称之为Xavier uniform initializer,由一个均匀分布(uniform distribution)来初始化数据。
假设均匀分布的区间是[-limit, limit],则
limit=sqrt(6 / (fan_in + fan_out))
其中的fan_in和fan_out分别表示输入单元的结点数和输出单元的结点数。
9、glorot_normal_initializer()
也称之为 Xavier normal initializer. 由一个 truncated normal distribution来初始化数据.
stddev = sqrt(2 / (fan_in + fan_out))
其中的fan_in和fan_out分别表示输入单元的结点数和输出单元的结点数。
tensorflow 1.0 学习:参数初始化(initializer)相关推荐
- tensorflow 1.0 学习:参数和特征的提取
tensorflow 1.0 学习:参数和特征的提取 在tf中,参与训练的参数可用 tf.trainable_variables()提取出来,如: #取出所有参与训练的参数 params=tf.tra ...
- 深度学习参数初始化(二)Kaiming初始化 含代码
目录 一.介绍 二.基础知识 三.Kaiming初始化的假设条件 四.Kaiming初始化的简单的公式推导 1.前向传播 2.反向传播 五.Pytorch实现 深度学习参数初始化系列: (一)Xavi ...
- tensorflow 1.0 学习:十图详解tensorflow数据读取机制
本文转自:https://zhuanlan.zhihu.com/p/27238630 在学习tensorflow的过程中,有很多小伙伴反映读取数据这一块很难理解.确实这一块官方的教程比较简略,网上也找 ...
- tensorflow 1.0 学习:模型的保存与恢复(Saver)
将训练好的模型参数保存起来,以便以后进行验证或测试,这是我们经常要做的事情.tf里面提供模型保存的是tf.train.Saver()模块. 模型保存,先要创建一个Saver对象:如 saver=tf. ...
- TensorFlow 2.0不好用?会了是“真香”!
记得 TensorFlow 2.0 刚发布时,一票开发者都在疯狂吐槽:官方文档不好找,bug 没有及时修复和更新等等.尽管上线这么久,仍有大量开发者不愿从 1.x 升级,或从别的框架迁移过来. 事实上 ...
- [深度学习] 分布式Tensorflow 2.0 介绍(二)
[深度学习] 分布式模式介绍(一) [深度学习] 分布式Tensorflow 2.0介绍(二) [深度学习] 分布式Pytorch 1.0介绍(三) [深度学习] 分布式Horovod介绍(四) 一 ...
- TensorFlow 2.0深度强化学习指南
在本教程中,我将通过实施Advantage Actor-Critic(演员-评论家,A2C)代理来解决经典的CartPole-v0环境,通过深度强化学习(DRL)展示即将推出的TensorFlow2. ...
- 【AI初识境】什么是深度学习成功的开始?参数初始化
文章首发于微信公众号<有三AI> [AI初识境]什么是深度学习成功的开始?参数初始化 这是<AI初识境>第5篇,这次我们说说初始化.所谓初识,就是对相关技术有基本了解,掌握了基 ...
- Ray.tune可视化调整超参数Tensorflow 2.0
Ray.tune官方文档 调整超参数通常是机器学习工作流程中最昂贵的部分. Tune专为解决此问题而设计,展示了针对此痛点的有效且可扩展的解决方案. 请注意,此示例取决于Tensorflow 2.0. ...
最新文章
- eas报错日记_金蝶EAS抓取性能日志说明
- http 状态码 504 502
- 路径中有中文怎么解决_时序路径分析
- html 实时预览在线,用HTML+CSS做一个实时预览的markdown编辑器
- NOIP 2013 day2
- 为什么运行review manager很卡顿_手机明明没坏,为什么声音开到最大依然很小?原来问题在这里...
- .NET平台常用的框架整理
- 信号量实现环形buff下多生产者多消费者模型
- 将函数储存在模块中(2)
- 二分法实现SQL盲注
- GET和POST请求的区别详解
- 计算机c盘内存怎么转给d盘,C盘空间太大怎么把空间转到D盘或E盘
- 2022年docker面试题大全(持续更新中)
- 如何编制试算平衡表_利用Excel制作总账表试算平衡表
- list 根据某个字段分组
- 大数据、云计算、物联网相关技术概述——《大数据技术原理与应用》课程学习总结
- 【计网】(三)超网、路由、NAT协议
- panda是删除行_pandas删除包含指定内容的行
- Linux硬盘分区mbr还是gpt,涨姿势:MBR和GPT硬盘分区表的那些事儿
- 摸索 Jenkins 的自动维护方案
热门文章
- python获取当前文件夹下所有文件名
- 315道Python常见面试题
- VS报错 <error-type> 此声明没有存储类或类型说明符
- pycharm如何修改默认浏览器?修改成chrome
- 解决最短路径的Dijkstra算法详解,附加Java代码
- Linux环境下安装OpenOffice 4.1.8
- pc构件生产线及设备_PC构件成组立模生产线
- HTTP状态码:204 No Content(总结HTTP状态码)
- Mockito的使用(一)——@InjectMocks、@Spy、@Mock
- Java的多线程和线程池的使用,你真的清楚了吗?