Tensorflow笔记(基础):批处理(batch

CODE

# - * - coding: utf - 8 -*-
#
# 作者：田丰(FontTian)
# 创建时间:'2017/8/2'
# 邮箱：fonttian@Gmaill.com
# CSDN：http://blog.csdn.net/fontthroneimport tensorflow as tf
import osos.environ['TF_CPP_MIN_LOG_LEVEL'] = '2'
# 计算Wx_plus_b 的均值与方差,其中axis = [0] 表示想要标准化的维度
Wx_plus_b = []
out_size = []fc_mean, fc_var = tf.nn.moments(Wx_plus_b, axes=[0], )
scale = tf.Variable(tf.ones([out_size]))
shift = tf.Variable(tf.zeros([out_size]))
epsilon = 0.001
Wx_plus_b = tf.nn.batch_normalization(Wx_plus_b, fc_mean, fc_var, shift, scale, epsilon)
# 上面的代码也就是在做
Wx_plus_b = (Wx_plus_b - fc_mean) / tf.sqrt(fc_var + 0.001)
Wx_plus_b = Wx_plus_b * scale + shift
#

RUN


sigmoid
[[ 0.7310586   0.88079703][ 0.7310586   0.88079703][ 0.7310586   0.88079703]]relu
Tensor("Relu:0", shape=(2,), dtype=float32)dropout
[[-0.  0.  6.  0.]]
[[-0.  0.  0.  0.]]

转载于:https://www.cnblogs.com/fonttian/p/7294790.html

Tensorflow笔记(基础):批处理(batch_normalization)相关推荐

7.3 TensorFlow笔记(基础篇):加载数据之从队列中读取
前言整体步骤在TensorFlow中进行模型训练时,在官网给出的三种读取方式,中最好的文件读取方式就是将利用队列进行文件读取,而且步骤有两步: 1. 把样本数据写入TFRecords二进制文件 2 ...
7.1 TensorFlow笔记(基础篇):加载数据之预加载数据与填充数据
TensorFlow加载数据 TensorFlow官方共给出三种加载数据的方式: 1. 预加载数据 2. 填充数据预加载数据的缺点: 将数据直接嵌在数据流图中,当训练数据较大时,很消耗内存.填充的方 ...
7.2 TensorFlow笔记(基础篇): 生成TFRecords文件
前言在TensorFlow中进行模型训练时,在官网给出的三种读取方式,中最好的文件读取方式就是将利用队列进行文件读取,而且步骤有两步: 1. 把样本数据写入TFRecords二进制文件 2. 从队列 ...
6.1 Tensorflow笔记(基础篇):队列与线程
前言在Tensorflow的实际应用中,队列与线程是必不可少,主要应用于数据的加载等,不同的情况下使用不同的队列,主线程与其他线程异步进行数据的训练与读取,所以队列与线程的知识也是Tensorflo ...
1.1 Tensorflow笔记(基础篇): 图与会话,变量
图与会话 import tensorflow as tf import os# 取消打印 cpu,gpu选择等的各种警告 # 设置TF_CPP_MIN_LOG_LEVEL 的等级,1.1.0以后设置2 ...
Tensorflow笔记(基础): 图与会话,变量
图与会话 import tensorflow as tf import os# 取消打印 cpu,gpu选择等的各种警告 # 设置TF_CPP_MIN_LOG_LEVEL 的等级,1.1.0以后设置2 ...
人工智能实践：TensorFlow笔记学习（五）—— 全连接网络基础
MNIST数据集输出手写数字识别准确率大纲 5.1 MNIST数据集 5.2 模块化搭建神经网络 5.3 手写数字识别准确率输出目标利用MNIST数据集巩固模块化搭建神经网路的八股,实践前向传播 ...
tensorflow笔记：流程，概念和简单代码注释
tensorflow是google在2015年开源的深度学习框架,可以很方便的检验算法效果.这两天看了看官方的tutorial,极客学院的文档,以及综合tensorflow的源码,把自己的心得整理了一 ...
人工智能实践：TensorFlow笔记学习（二）—— Python语法串讲
Python语法串讲大纲 2.1 Linux指令.HelloWorld 2.2 列表.元组.字典 2.3 条件语句 2.4 循环语句 2.5 turtle模块 2.6 函数.模块.包 2.7 类. ...

Tensorflow笔记(基础):批处理(batch_normalization)

CODE

RUN

Tensorflow笔记(基础):批处理(batch_normalization)相关推荐

最新文章

热门文章