神经网络的参数（Weight）

定义：即神经元结构线上的权重W，用变量表示，一般会先随机生成这些参数。生成参数的方法是让w等于tf.Variable，把生成的方式写在括号里。

神经网络中常用的生成随机数/数组的函数	解释
tf.random_normal()	生成正态分布随机数
tf.truncated_normal()	生成去掉过大偏离点（超过偏差）的正太分布的随机数
tf.random_uniform()	生成平均分布的随机数
tf.zeros()	全0数组，tf.zeros([3, 2], int 32)，生成[[0, 0], [0, 0], [0, 0]]
tf.ones()	全1数组，tf.ones([3, 2], int 32)，生成[[1, 1], [1, 1], [1, 1]]
tf.fill()	全定值数组，tf.zeros([3, 2], 6)，生成[[6, 6], [6, 6], [6, 6]]
tf.constant()	直接给值，tf.constant([3, 2, 1])，生成[3, 2, 1]

举例
① w = tf.Variable(tf.random_normal([2, 3], stddev = 2, mean = 0, seed =1))

tf.random_normal()	[2, 3]	stddev = 2	mean = 0	seed
正态分布	生成2*3矩阵	标准差为2	均值为0	随机种子（去掉的话，每次生成的随机数将不一致）

② w=tf.Variable(tf.Truncated_normal([2,3],stddev=2, mean=0, seed=1))，
表示去掉偏离过大的正态分布，也就是如果随机出来的数据偏离平均值超过两个标准差，这个数据将重新生成。
③ w=random_uniform(shape=7,minval=0,maxval=1,dtype=tf.int32，seed=1),
表示从一个均匀分布[minval maxval)中随机采样，注意定义域是左闭右开，即包含 minval，不包含 maxval。
注意：
①随机种子如果去掉每次生成的随机数将不一致。
②如果没有特殊要求标准差、均值、随机种子是可以不写的

神经网络的参数（Weight）相关推荐

积神经网络的参数优化方法——调整网络结构是关键！！！你只需不停增加层，直到测试误差不再减少....
积神经网络(CNN)的参数优化方法 from:http://blog.csdn.net/u010900574/article/details/51992156 著名: 本文是从 Michael Nie ...
初始化模型参数 python_pytorch 网络参数 weight bias 初始化详解_python_脚本之家
权重初始化对于训练神经网络至关重要,好的初始化权重可以有效的避免梯度消失等问题的发生. 在pytorch的使用过程中有几种权重初始化的方法供大家参考. 注意:第一种方法不推荐.尽量使用后两种方法. # ...
python/keras中用Grid Search对神经网络超参数进行调参
原文:How to Grid Search Hyperparameters for Deep Learning Models in Python With Keras 作者:Jason Brownle ...
如何计算神经网络的参数量以及创建多隐藏层网络（总参数量接近）
文章目录计算神经网络的参数量创建多隐藏层的网络构建总参数量接近的神经网络计算神经网络的参数量对于全连接层来说,其单层的参数量为 (输入维度 + 1) * 该层神经元个数.这是因为全连接层的每 ...
神经网络的参数优化方法
转载自:https://www.cnblogs.com/bonelee/p/8528863.html 著名: 本文是从 Michael Nielsen的电子书Neural Network and De ...
神经网络超参数之隐藏层个数+每个隐层的神经元数
神经网络超参数之隐藏层个数+每个隐层的神经元数隐藏层个数神经网络的灵活性也恰好是它的一个主要的短板:有太多的超参数需要调整.不仅仅是可以使用的网络拓扑结构(神经元是如何彼此互相连接的),即使是简单 ...
卷积神经网络的参数量和计算量
<卷积神经网络的参数量和计算量> 对于在端部署的模型来说,模型的参数量以及计算量是锱铢必较的,使用什么样的激活函数,会有多大的计算成本.对于模型的压缩量化等都是模型的参数量和计算量的准 ...
卷积神经网络的参数计算
版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明. 本文链接: https://blog.csdn.net/qian99/article/deta ...
神经网络预测参数有哪些,神经网络预测参数包括
遗传神经网络储层参数预测 . 4.4.1网络的识别过程由于地震勘探中广泛采用三维地震.高分辨率勘探等新技术,资料处理中也引入了多种新的处理方法,使得综合提取多种地震信息成为可能,使用这些信息进行储层横 ...
优化算法+神经网络：神经网络自动参数优化
当智能群优化算法遇上神经网络优化算法进行神经网络的参数寻优,解放深度调参 1.已经实现的Genetic Algorithm优化Neural Network 2.已经实现的PSO优化Neural Ne ...

神经网络的参数（Weight）

神经网络的参数（Weight）相关推荐

最新文章

热门文章