TensorFlow 辨异 —— tf.add(a, b) 与 a+b（tf.assign 与 =）、tf.nn.bias

1. tf.add(a, b) 与 a+b

在神经网络前向传播的过程中，经常可见如下两种形式的代码：

tf.add(tf.matmul(x, w), b)
tf.matmul(x, w) + b

简而言之，就是 tf.add(a, b) 与 a + b二者的区别，类似的也有，tf.assign 与 =（赋值运算符）的差异。

在计算精度上，二者并没有差别。运算符重载的形式a+b，会在内部转换为，a.__add__(b)，而a.__add__(b)会再一次地映射为tf.add，在 math_ops.py中相关的映射如下：

_OverrideBinaryOperatorHelper(gen_math_ops.add, "add")

In tensorflow what is the difference between tf.add and operator (+)?

2. tf.nn.bias_add 与 tf.add

tf.nn.bias_add 是 tf.add 的一个特例，也即 tf.add 支持的操作比 tf.nn.bias_add 更多。二者均支持 broadcasting（广播机制），也即两个操作数最后一个维度保持一致。

除了支持最后一个维度保持一致的两个操作数相加外，tf.add 还支持第二个操作数是一维的情况。

Tensorflow Python API 翻译（nn）

TensorFlow 辨异 —— tf.add(a, b) 与 a+b（tf.assign 与 =）、tf.nn.bias_add 与 tf.add相关推荐

TensorFlow 辨异 —— tf.placeholder 与 tf.Variable
二者的主要区别在于: tf.Variable:主要在于一些可训练变量(trainable variables),比如模型的权重(weights,W)或者偏执值(bias): 声明时,必须提供初始值: ...
【TensorFlow】TensorFlow函数精讲之tf.nn.max_pool()和tf.nn.avg_pool()
tf.nn.max_pool()和tf.nn.avg_pool()是TensorFlow中实现最大池化和平均池化的函数,在卷积神经网络中比较核心的方法. 有些和卷积很相似,可以参考TensorFlow ...
TensorFlow基础篇（六）——tf.nn.max_pool()和tf.nn.avg_pool()
tf.nn.max_pool()和tf.nn.avg_pool()是TensorFlow中实现最大池化和平均池化的函数,在卷积神经网络中比较核心的方法. 有些和卷积很相似,可以参考TensorFlow ...
辨异 —— 中文词汇
鳌:áo,传说中大海里的大龟或大鳖,鳖:biē,土鳖的鳖: 1. 名词 (1)珏.玨: 玨是珏的繁体形式(简体比繁体还要复杂),两个字都读 jué 珏:合在一起的玉 (2)题中之义.题中之意: 第一种 ...
【辨异】inverse, reverse, converse
文章转自:http://www.cnblogs.com/wxxweb/archive/2011/06/24/2088995.html 版权归原作者. 这3个词是经常容易混淆的,因为中文并不是世界上最严 ...
Inverse/Reverse/Converse的辨异
[转]Inverse/Reverse/Converse的辨异 Posted on 2011-06-24 15:13 单鱼游弋阅读(7795) 评论(0) 编辑收藏本文源自:http://hi. ...
深度学习-函数-tf.nn.embedding_lookup 与tf.keras.layers.Embedding
embedding函数用法 1. one_hot编码 1.1. 简单对比 1.2.优势分析: 1.3. 缺点分析: 1.4. 延伸思考 2. embedding的用途 2.1 embedding有两个 ...
tf.nn.softmax_cross_entropy_with_logits 和 tf.contrib.legacy_seq2seq.sequence_loss_by_example 的联系与区别
文章目录 0.函数介绍 1.区别联系 1.1 tf.nn.softmax_cross_entropy_with_logits 1.2 tf.nn.sparse_softmax_cross_entrop ...
TF之LSTM：利用LSTM算法对mnist手写数字图片数据集(TF函数自带)训练、评估(偶尔100%准确度，交叉熵验证)
TF之LSTM:利用LSTM算法对mnist手写数字图片数据集(TF函数自带)训练.评估(偶尔100%准确度,交叉熵验证) 目录输出结果设计思路代码设计输出结果第 0 accuracy 0. ...

TensorFlow 辨异 —— tf.add(a, b) 与 a+b（tf.assign 与 =）、tf.nn.bias_add 与 tf.add

1. tf.add(a, b) 与 a+b

2. tf.nn.bias_add 与 tf.add

TensorFlow 辨异 —— tf.add(a, b) 与 a+b（tf.assign 与 =）、tf.nn.bias_add 与 tf.add相关推荐

最新文章

热门文章