Keras关于LSTM的units参数解释

LSTM(units,input_shape(3,1)),这里的units指的是cell的个数么？如果是，按照LSTM原理这些cell之间应该是无连接的，那units的多少其意义是什么呢，是不是相当于MLP里面对应隐层的神经元个数，只是为了扩展系统的输出能力？

可以看到中间的 cell 里面有四个黄色小框，你如果理解了那个代表的含义一切就明白了，每一个小黄框代表一个前馈网络层，对，就是经典的神经网络的结构，num_units就是这个层的隐藏神经元个数，就这么简单。其中1、2、4的激活函数是 sigmoid，第三个的激活函数是 tanh。

另外几个需要注意的地方：

1、 cell 的状态是一个向量，是有多个值的。。。一开始没有理解这点的时候怎么都想不明白

2、上一次的状态 h(t-1)是怎么和下一次的输入 x(t) 结合（concat）起来的，这也是很多资料没有明白讲的地方，也很简单，concat，直白的说就是把二者直接拼起来，比如 x是28位的向量，h(t-1)是128位的，那么拼起来就是156位的向量，就是这么简单。。

3、 cell 的权重是共享的，这是什么意思呢？这是指这张图片上有三个绿色的大框，代表三个 cell 对吧，但是实际上，它只是代表了一个 cell 在不同时序时候的状态，所有的数据只会通过一个 cell，然后不断更新它的权重。

4、那么一层的 LSTM 的参数有多少个？根据第 3 点的说明，我们知道参数的数量是由 cell 的数量决定的，这里只有一个 cell，所以参数的数量就是这个 cell 里面用到的参数个数。假设 num_units 是128，输入是28位的，那么根据上面的第 2 点，可以得到，四个小黄框的参数一共有（128+28）*（128*4），也就是156 * 512，可以看看 TensorFlow 的最简单的 LSTM 的案例，中间层的参数就是这样，不过还要加上输出的时候的激活函数的参数，假设是10个类的话，就是128*10的 W 参数和10个bias 参数

5、cell 最上面的一条线的状态即 s(t) 代表了长时记忆，而下面的 h(t)则代表了工作记忆或短时记忆

Keras关于LSTM的units参数解释相关推荐

Keras中LSTM中units解释
Keras中Units解读 def __init__(self,units,activation='tanh',recurrent_activation='sigmoid',use_bias=True ...
关于LSTM的units参数
LSTM(units,input_shape(3,1)),这里的units指的是cell的个数么?如果是,按照LSTM原理这些cell之间应该是无连接的,那units的多少其意义是什么呢,是不是相当于 ...
对LSTM层的参数units 的理解
model = Sequential() model.add(LSTM(32, batch_input_shape=(None, 10, 64))) 以上LSTM的第一个参数units=32,指的并不 ...
Tensorflow tf.keras.layers.LSTM
参数参数描述 units 输出空间的维度 input_shape (timestep, input_dim),timestep可以设置为None,由输入决定,input_dime根据具体情况 ac ...
【Tensorflow+Keras】tf.keras.layers.LSTM的解析与使用
1 作用原理实现LSTM网络原理介绍:长短期记忆模型(Long-Short Term Memory,LSTM) 2 参数 tf.keras.layers.LSTM( units, activati ...
Tensorflow③ Keras的LSTM和TF的LSTM实现的源码剖析
最近在做可以转成pb模型的RNN/LSTM层的实现细节分析.经过一些分析,发现了在Keras里面常见的keras.layers.LSTM和Tensorflow的tf.contrib.rnn.LSTMC ...
keras 双向LSTM
keras 双向LSTM 双向LSTM利用到了未来的信息,在一些文本分类和序列预测问题上可以做到比单向LSTM更好的效果,BiLSTM与LSTM相比,多了一个反向计算,同时利用正向方向的数据计算最终输 ...
基于Keras搭建LSTM网络实现文本情感分类
基于Keras搭建LSTM网络实现文本情感分类一.语料概况 1.1 数据统计 1.1.1 查看样本均衡情况,对label进行统计 1.1.2 计句子长度及长度出现的频数 1.1.3 绘制句子长度累积 ...
CNN tflearn处理mnist图像识别代码解说——conv_2d参数解释，整个网络的训练，主要就是为了学那个卷积核啊。...
官方参数解释: Convolution 2D tflearn.layers.conv.conv_2d (incoming, nb_filter, filter_size, strides=1, pad ...

Keras关于LSTM的units参数解释

Keras关于LSTM的units参数解释相关推荐

最新文章

热门文章