移动指数加权平均与修正
转载：博客园：https://www.cnblogs.com/cloud-ken/p/7723755.html
指数加权平均
举个例子,对于图中英国的温度数据计算移动平均值或者说是移动平均值(Moving average).
大体公式就是前一日的V值加上当日温度的0.1倍,如果用红线表示这个计算数值的话就可以得到每日温度的指数加权平均值.
- 对于θ_t的理解,你可以将其认为该数值表示的是1/1−β天的平均值,例如如果这里取β是取0.9,那么这个V值表示的是十天以来的温度的加权平均值.如果我们设置β值是0.98那么我们就是在计算50天内的指数加权平均,这时我们用图中的绿线表示指数加权平均值
- 我们看到这个高值的β=0.98得到的曲线要平坦一些,是因为你多平均了几天的温度.所以波动更小,更加平坦.缺点是曲线向右移动,这时因为现在平均的温度值更多,所以会出现一定的延迟.对于β=0.98这个值的理解在于有0.98的权重给了原先的值,只有0.02的权重给了当日的值
- 我们现在将β=0.5作图运行后得到黄线,由于仅平均了两天的温度,平均的数据太少,所以得到的曲线有更多的噪声,更有可能出现异常值,但是这个曲线能更快的适应温度变化,所以指数加权平均数经常被使用.
- 在统计学中,它常被称为指数加权移动平均值
理解指数加权平均
- β为0.9时,得到的是红线,β为0.98,得到的是绿线,β为0.5时,得到的是黄线.
- 通过计算,我们发现0.9^(10)≈1/e≈0.35,也就是说对于β=0.9而言10天之后权重就会下降到10天之后权重就会下降到1/3
- 对于β=0.98而言,有0.98^(50)≈1/e≈0.35,即50天之后权重就会下降到1/3
- 即有:
优势
实际处理数据时,我们会使用以下公式:
- 内存代码仅仅占用一行数字而已,不断覆盖掉原有的V值即可,只占单行数字的存储和内存.虽然不是最精确的计算平均值的方法,但是相比于原有的计算平均值需要保存所有数据求和后取平均的方法效率更高和资源占用率大大减小.所以在机器学习中大部分采用指数加权平均的方法计算平均值.
指数加权平均的偏差修正
当我们取β=0.98时,实际上我们得到的不是绿色曲线,而是紫色曲线,因为使用指数加权平均的方法在前期会有很大的偏差,为此我们引入了偏差修正的概念
指数加权平均公式:
带修正偏差的指数加权平均公式:
移动指数加权平均与修正相关推荐
- 2.5 指数加权平均的偏差修正-深度学习第二课《改善深层神经网络》-Stanford吴恩达教授
←上一篇 ↓↑ 下一篇→ 2.4 理解指数加权平均 回到目录 2.6 动量梯度下降法 指数加权平均的偏差修正 (Bias Correction in Exponentially Weighted Av ...
- 改善深层神经网络：超参数调整、正则化以及优化——2.5 指数加权平均的偏差修正
当β=0.98\beta=0.98β=0.98时,其实预测曲线是图中的紫色线,在一开始的时候由于v0=0v_0=0v0=0,导致前面部分的值低于预期的实际值,为了解决这个问题,加入了偏差修正. vt ...
- 深度学习笔记(2)：2.3|2.4 指数加权平均及理解 | 2.5 指数加权平均的偏差修正
接下来介绍一些比梯度下降法计算速度更快的优化算法. 2.3 指数加权平均 为了更好地介绍这些优化算法,这里先介绍一个概念----指数加权平均(exponentially weighted avera ...
- 2.2.2 指数加权平均
指数加权平均 下面介绍一下比梯度下降更快的算法,不过在这之前,你要了解指数加全平均. 如1和2所示,指数加权实际上就是设置一个权值.就像下图所示 通过 11−β11−β \frac{1}{1-\bet ...
- 2.4 理解指数加权平均-深度学习第二课《改善深层神经网络》-Stanford吴恩达教授
←上一篇 ↓↑ 下一篇→ 2.3 指数加权平均 回到目录 2.5 指数加权平均的偏差修正 理解指数加权平均 (Understanding Exponentially Weighted Averages ...
- 指数加权平均与RmsProp（转载+自己总结)以及Adagrad
一.指数加权平均(先说用途:抗噪声拟合) 假设我们有一年365天的气温数据θ1,θ2,...,θ365\theta_1,\theta_2,...,\theta_{365}θ1,θ2,...,θ36 ...
- 改善深层神经网络：超参数调整、正则化以及优化——2.3指数加权平均
指数加权平均:vt=βvt−1+(1−β)θtv_t=\beta v_{t-1}+(1-\beta)\theta_tvt=βvt−1+(1−β)θt: 当β=0.9\beta=0.9β=0.9时 ...
- 移动指数加权平均笔记
转载于:https://www.cnblogs.com/cloud-ken/p/7723755.html 举个例子,对于图中英国的温度数据计算移动平均值或者说是移动平均值(Moving average ...
- 优化算法之指数加权平均详解
本文的内容来自deeplearning.ai 一.什么是指数加权平均 指数加权平均(exponentially weighted averges)也叫指数加权移动平均,通过它可以来计算局部的平均值,来 ...
最新文章
- 一篇文章带你解析，乐观锁与悲观锁的优缺点
- Spring学习（一）初识Spring
- python程序中想使用正则表达式_python中正则表达式的使用方法
- sum函数两个同行的元素相加_Excel函数公式大全：利用sum函数进行汇总以及对多个汇总进行求和...
- php 收缩栏,HTML5每日一练之details展开收缩标签的应用
- ERROR streaming.StreamExecution：createConsumer(ConsumerStrategy.scala:63)
- RAID原理分析总结-运维工作记录
- java常用设计模式详解及应用
- c语言 复制到编辑页面 乱码,富文本编辑器的复制word到浏览器发生乱码（vue+wangEditor）...
- c语言中judge的用法,judge的用法
- Linux正则表达式详解
- python批量处理图片统一尺寸
- mybatis 标签中prefix,suffix,prefixOverrides,suffixOverrides作用
- 使用excel、python、tableau对招聘数据进行数据处理及可视化分析
- 查看电脑系统基本信息
- vsftp登录失败_VSFTP虚拟账户无法登陆530 Login incorrect错误解决方法 | 系统之家官网...
- 图神经网络（贪心学院）
- 华为g9青春版连接计算机,华为G9青春版 移动4G（VNS-TL00）一键救砖教程，轻松刷回官方系统...
- DirectShow SDK笔记【关于DirectShow(2)】
- renderjs的使用