[算法]滑动平均模型简介

滑动平均模型，一般用于提升模型在测试集上的准确率。需要指定一个更新比率decay，一般会指定为比较大的一个值，比如0.996这种，同时会维护一个影子变量shadow，模型中的每个参数都会有一个与之对应的影子变量，这个变量在模型训练的时候，不会对模型的训练产生任何影响，即和没有影子变量的情况是一样的。但是每一轮训练，这个影子变量shadow的值都会进行更新，更新公式就是shadow = decay * shadow + (1 - decay) * variable 其中variable就是参数，而shadow变量的初始化的值就是对应的配对的变量的初始值。
在训练的时候，只是不断的更新这个值：可以看到，随着训练步数的不断加大，variable是变化的，decay变量也会随着训练迭代的增加而变化：一般decay = (1+steps)/(10+steps)由于这两个变量的变化，所以shadow值会随着迭代数量的增加而不断变化，可以发现，如果decay值越接近1的话，则这个shadow值也就基本不变了（因为1-decay就会变成一个非常小的数值）。
真正使用这个变量是在利用模型来进行预测的时候，此时模型计算中的每个参数不再使用前面模型训练出来的参数。而是使用这个影子变量来代替原来的参数。根据测试，这种方法可以有效提升模型在测试集上的准确率这个就是滑动平均模型。

[算法]滑动平均模型简介相关推荐

tensorflow 滑动平均模型 ExponentialMovingAverage
____tz_zs学习笔记滑动平均模型对于采用GradientDescent或Momentum训练的神经网络的表现都有一定程度上的提升. 原理:在训练神经网络时,不断保持和更新每个参数的滑动平均值, ...
深入解析TensorFlow中滑动平均模型与代码实现
因为本人是自学深度学习的,有什么说的不对的地方望大神指出指数加权平均算法的原理 TensorFlow中的滑动平均模型使用的是滑动平均(Moving Average)算法,又称为指数加权移动平均算法( ...
Interview：人工智能岗位面试—人工智能职位之计算机视觉算法工程师的简介、知识结构、发展方向之详细攻略
Interview:人工智能岗位面试-人工智能职位之计算机视觉算法工程师的简介.知识结构.发展方向之详细攻略目录计算机视觉算法工程师的简介计算机视觉算法工程师的知识结构计算机视觉算法工程师的发 ...
TensorFlow模型保存和提取方法（含滑动平均模型）
一.TensorFlow模型保存和提取方法 1. TensorFlow通过tf.train.Saver类实现神经网络模型的保存和提取.tf.train.Saver对象saver的save方法将Tens ...
运用自回归滑动平均模型、灰色预测模型、BP神经网络三种模型分别预测全球平均气温，并进行预测精度对比（附代码、数据）
大家好,我是带我去滑雪,每天教你一个小技巧!全球变暖是近十年来,人们关注度最高的话题.2022年夏天,蔓延全球40℃以上的极端天气不断刷新人们对于高温的认知,人们再也不会像从前那样认为全球变暖离我们遥 ...
ML：机器学习算法中—因子模型(多变量)、时序模型/时间序列模型(主要以单变量)算法对比的简介、带有时序性的因子模型概述、案例应用之详细攻略
ML:机器学习算法中-因子模型(多变量).时序模型/时间序列模型(主要以单变量)算法对比的简介.带有时序性的因子模型概述.案例应用之详细攻略目录因子模型和时序模型/时间序列模型算法的简介 1.因子 ...
《量化交易：如何建立自己的算法交易》简介及PDF电子书下载
转 <量化交易:如何建立自己的算法交易>简介及PDF电子书下载内容简介: <量化交易(如何建立自己的算法交易事业)>绝不是一本量化交易技术或量化交易术语的百科全书,也不是专门 ...
Matlab：基于Matlab实现人工智能算法应用的简介(SVM支撑向量机GA遗传算法PSO粒子群优化算法)、案例应用之详细攻略
Matlab:基于Matlab实现人工智能算法应用的简介(SVM支撑向量机&GA遗传算法&PSO粒子群优化算法).案例应用之详细攻略目录 1.SVM算法使用案例 1.1.Libsvm ...
tensorflow中滑动平均模型的说明
作用:使用滑动平均模型可以使模型在测试数据上更健壮.即如果在测试过程中,出现了一些噪声数据,滑动平均模型可以很好地应对这些数据,使这些噪声数据不会对模型的变量造成太大的影响. 1.滑动平均模型原理: ...

[算法]滑动平均模型简介

[算法]滑动平均模型简介相关推荐

最新文章

热门文章