1.概述

在机器学习的各类方法中,有一类主要能用于时间序列预测的模型,包括但不限于自回归模型AR、滑动平均MA、融合AR与MA的ARIMA、隐马尔可夫模型HMM、卡尔曼滤波KF、循环神经网络RNN/LSTM等,本文对其做基本的阐述并说明其各自特点与应用场景。

2.时间序列模型

时间序列是按照一定的时间间隔排列的一组数据,其时间间隔可以是任意的时间单位,如小时、日、周、月等。比如,产品月均销售趋势、股市K线图走势、实时翻译的语音信号、机器人移动轨迹等这些数据形成了一定时间间隔且前后具有一定的延续性与关联性。 通过对这些时间序列的分析,从中发现和揭示现象发展变化的规律,然后将这些知识和信息用于预测。

比如销售量是上升还是下降,销售量是否与季节有关,是否可以根据现有的数据预测未来一年的销售额等。 对于时间序列的预测,由于很难确定它与其它变量之间的关系,这时我们就不能用回归去预测,而应使用时间序列方法进行预测。采用时间序列分析进行预测时需要一系列的模型,这种模型称为时间序列模型。以下对其分别进行阐述。时间序列对应的机器学习通常属于在线学习 online learning。

2.1 AR与MA相关模型

2.1.1 自回归模型(Auto-Regressive model)

自回归模型AR,是利用当前时刻之前若干时刻的随机变量的线性组合来描述以后某时刻随机变量的线性回归模型,自回归模型反映了序列数据当前值与前期 个数值之间(对应  阶自回归模型)的相关关系,也就是说当前值可表示为前  项数值的线性组合与白噪声序列的函数。其中白噪声可以看作随机序列,序列的均值为0。自回归模型反映了具有统计上显著的滞后自相关性。阶自回归模型的具体表达式如下

对于1 阶自相关性,上述模型简化为AR(1),具体如下

其中  是独立同分布的白噪音序列,其均值为0、方差为   。 这部分取决于过去的观测, 是过去无法预测的部分。该模型的形式与简单线性回归模型相同,当 被其对数波动率取代时,这个简单模型可广泛应用于随机波动率建模。

2.1.2 滑动平均(Moving Average)

所谓滑动平均MA就是以一定的窗口为单位,在指定的窗口内将数据取平均,可以是简单平均也可以是加权平均。

对于简单滑动平均

从中可以看出,一个新的估计值等于旧的估计值加上一个修正项,通常修正项的添加可适用于在线学习(online learning)的不断修正。

对于加权的滑动平均(q 阶滑动平均的通用表达式)

MA(q)模型总是平稳的,因为它是有限的白噪声过程的线性组合,只考虑滞后的前 项,相应的系数 都是常数,其它项的影响系数都为0。其中  是待预测值,白噪声 ,视为独立同分布的正态时间序列。

MA模型具有可逆性(Invertibility),可逆性提供了一个简单的方法来获得冲击值(噪声序列)。零均值MA(1)模型可改写为

直观上可知,  随系数阶次的增加其影响应更小(时序距离更远),当阶次趋于无穷时相应的影响应趋于0。因此为保证MA(1)具有可逆性,通常要求  

2.1.3 指数滑动平均(Expotential Moving Average)

指数滑动平均的表达式如下

待预测值  ,对应  时刻,其中,。一个数据点在时间  步之后的影响权重为 。因此随时间的推移,距离当前时刻越远的时间点的贡献呈指数下降。

根据指数级数的求和

因此得到

因为 ,当  时,  , 也就是说  取值越小,对过去遗忘的越快,也就是更倾向于当前的数据。因为  作为初始的估计,通过比例系数修正原估计值,得到

2.1.4 ARMA(Autoregressive Moving Average)

为了克服单独的AR和MA的不足,从而解决高阶的问题,引入自回归滑动平均(ARMA)模型,也就是AR与MA的结合,具体的表达式如下:

用滞后算子来表示,得到如下表达式

其中  称为滞后算子,是指将一个以一定时间间隔定期采样的变量的时间指标向后移动一个单位时间。将滞后算子应用到一个泛型变量  上,得到该变量在时刻  时的值,即  。滞后算子可以提升为幂次,例如  。也可以形成滞后算子的多项式

,则根据等比数列求和公式可得到:

其中定义有如下关系式:

2.1.5 ARIMA(Autoregressive Moving Average)

差分自回归滑动平均模型(ARIMA),综合了三项 AR、I(integration)、MA,是在ARMA基础上改进而来的模型。

ARMA模型的平稳性要求  的均值、方差和自协方差都是与时间无关的、有限的常数,也就说ARMA模型是针对平稳时间序列建立的模型,只能处理平稳序列。

而ARIMA模型是针对非平稳时间序列建模。换句话说,非平稳时间序列要建立ARMA模型,首先需要经过差分转化为平稳时间序列,然后建立ARMA模型。

如果非平稳时间序列  经过  次差分后的平稳序列服从ARMA(p, q)模型,那么称原始序列 服从ARIMA(p, d, q)模型。也就是说,原始序列是 序列, 次差分后是平稳序列。平稳序列I(0)服从ARMA模型,而非平稳序列 服从ARIMA模型。

基于ARMA添加差分处理,在前述模型上多了一个差分阶数需要进行确定,表达式如下:

由以上分析可知,建立一个ARIMA模型需要解决以下3个问题:

(1)将非平稳序列转化为平稳序列。

(2)确定模型的形式。即模型属于AR、MA、ARMA中的哪一种,主要通过模型识别确定。

(3)确定变量的滞后阶数,即求和项。这也是通过模型识别完成的。

2.2 Prophet

Prophet是由Facebook 开发的一个流行的时间序列预测库,它拟合的是一个广义的加性模型,相应的表达式如下

其中各项的表示形式如下:

a) 表示趋势项,模拟时间序列在非周期上面的变化趋势

b) 是季节项或称周期项(使用正弦基函数拟合的线性回归模型),一般以周或者年为单位

c) 是稀疏的“假日效应”可选项,表示在当天是否存在节假日,模拟节假日的特殊影响

d)  为可能滞后的协变量, 是回归系数,实际应用中多数情况下可不考虑这一可选项

e)  是残留的噪声项,假定为iid高斯分布

Prophet 算法通过分别拟合这几项,最后把它们累加起来就得到了时间序列的预测值。

Prophet是回归模型,而不是自回归模型,因为它是给定时刻 , 预测时间序列,并不考虑过去的观测值  。

为了对时间依赖性建模,趋势项有两个重要的函数,一个是基于逻辑回归函数(logistic function)的,另一个是基于分段线性函数(piecewise linear function)的。

对于逻辑回归函数

这里的  称为曲线的最大渐近值,表示曲线的增长率, 表示偏移项。当时,简化为常见的 sigmoid 函数的形式。

实际应用中,三个参数 不可能都为常数,而很有可能是随着时间的迁移而变化的,因此,在 Prophet 里面,Prophet原文作者考虑将这三个参数全部换成了随着时间而变化的函数,也就是

现实的时间序列中,曲线的走势肯定不会一直保持不变,在某些特定情况或有某种潜在的周期影响下,曲线会发生变化,这个时候,就有所谓的变点检测,也就是所谓 change point detection,变点(change point)就是走势或趋势发生明显变化的点,类似于通常说的“拐点”。

对每一段的趋势和走势根据 change point 的情况而改变,由此得到分段的逻辑回归增长模型:

其中,  是增长率,是偏移量,,其中 是第  个变化点对应的时刻, 是变化的大小, 是为了使函数保持连续的添加项。 拉普拉斯先验。

对于分段线性函数

此时若假定趋势函数是分段线性的,时间轴上有S个均匀分割的变化点(changepoints),相应的表示如下:

为了确保了MAP参数估计是稀疏的,因此变化点(changepoints)边界之间的差异通常为0。

季节性趋势是几乎所有的时间序列预测模型都会考虑的选项,这是因为时间序列通常会随着天,周,月,年等季节性的变化而呈现季节性的变化,也称为周期性的变化。对于周期函数而言,通常使用较多就是正弦、余弦函数。而在数学分析中,区间内的周期性函数可以通过正弦和余弦的函数的和来表示,那么 就可以采用如下的傅立叶级数表示:

在实际环境下,除了周末,同样有很多节假日,而且不同的国家有着不同的假期。在 Prophet 里面,通过考虑一个稀疏的假日效应可选项对节假日的影响程度(节假日效应)建模。

由于每个节假日对时间序列的影响程度不一样,比如春节,国庆节是长假,元旦、劳动节是短假,不同的节假日可看成相互独立的模型,同时可以为不同的节假日设置不同的时间窗口值,表示该节假日会影响前后一段时间的时间序列。

对于第 个节假日而言, 表示该节假日的前后一段时间。为了表示节假日效应,定义一个相应的指示函数(indicator function),同时分配一个参数   来表示节假日的影响范围。假定有 个节假日,那么

​​​​​​​        ​​​​​​​        

其中

​​​​​​​        ​​​​​​​        ​​​​​​​        ​​​​​​​        ​​​​​​​        

其中 并且该正态分布受到  这个指标影响。fbprophet模型中默认值取 10,当值越大时,表示节假日对模型的影响越大;当值越小时,表示节假日对模型的效果越小。可根据自己的情况自行调整。

prophet 直观的可视化延时效果可详见 prophet 可视化。

2.3 Gaussian processes

使用高斯过程也可以进行时间序列预测。其基本思想是将未知输出量建模为时间函数,并将的先验表示为高斯过程;然后根据观察到的论据evidence,进一步更新之前的内容,并预测未来值。对于某些稳态核,可以将问题重新表述为线性高斯状态空间模型,如使用Kalman平滑滤波器在有限的时间内进行推测。该转换可利用Matren核精确完成,而高斯核(RBF)则可以近似地完成。实际应用中可考虑如下一个典型的高斯过程建模形成的一个复合高斯核模型:

其中 对应第  个核函数。

为了捕捉长期平滑上升趋势,我们指定  为平方指数 (SE: squared exponential) 核函数,其中  表示幅度值,是尺度因子,得到如下形式

为了对周期性进行建模,我们借用了指数正弦平方核函数,周期参数设置为 1 年。 然而,由于不清楚季节性趋势是否刚好就是周期性的,我们将这个周期性核函数与另一个 SE核函数相乘,实现偏离周期性衰减的效果, 得到如下所示函数 ,其中 是幅度值,  是周期性分量的衰减时间,是周期,是周期分量的平滑度。

为了模拟(小)中期不规则性,我们使用如下有理二次核函数

其中 是幅度, 是典型的尺度因子, 是形状参数。

最后一项对应独立噪声的大小,可以并入似然函数的观测噪声中。 对于相关噪声,我们使用另一个 SE 核函数

我们可以通过优化关于 的边际似然函数来拟合这个模型。

2.4 HMM

隐马尔可夫模型(Hidden Markov model,HMM)是关于时序的概率模型,可用于序列标注问题的统计学建模,描述由一个隐马尔可夫链随机生成不可观测的状态随机序列,再由各个状态生成一个观测而产生观测随机序列的过程(因状态是隐式的所以而得名)。

隐马尔可夫链随机生成的状态的序列称作状态序列。 每个状态生成一个观测,而由此产生的观测的随机序列称作观测序列。 序列的每一个位置又可以看作是一个时刻。

在 HMM 中,我们通过使用 和 时刻的结果来解决时刻  的预测问题。下面的圆圈表示时刻  的 HMM 隐状态  。因此,即使状态序列的数量随时间呈指数级增长,假定其可以随时间递归地表示计算,那么我们也可以经线性化处理求解它。

定义在时间  t 的观测概率为:

​​​​​​​定义为  时刻隐状态 的前向概率,描述的是由前一时刻  的状态  转移到当前时刻  的状态  的概率。由于当前观测仅取决于当前状态, 可表示为:

上述前向概率它表示到时刻 已知的部分观测序列为,且 时刻的状态为 的概率,实际上是一个联合概率,记作如下:

​​​​​​​                        

观测的似然概率 可通过以下各个时间步递归计算得到

再定义​​​​​后向概率,它表示在相反方向上的概率(在时间  给定状态  的情况下看到所有即将到来的观测的概率),实际上是一个条件概率,具体如下

​​​​​​​        ​​​​​​​

可以用类似于 的递归方式计算,但方向相反(也称为反向算法)。

要学习 HMM 模型,我们需要知道我们处于什么状态才能最好地解释观测结果。这将是状态概率,也就是给定所有观测值的前提下,在时间 状态是  的概率。

给定 HMM 模型参数模型参数固定,我们可以应用前向和后向算法从观测中计算得到 和  可以通过简单地将 乘以 来计算  ,然后对其进行重新归一化。

​​​​​​​        ​​​​​​​        ​​​​​​​

是在给定所有观测值的情况下,在时间  之后从状态  转移到 的概率称为转移概率。它可以类似地由 和 计算 得到

​​​​​​​        ​​​​​​​        ​​​​​​​

采用EM算法求解得到是似然概率最大化的参数  和 

HMM算法实现的完整迭代流程如下

2.5 KF

卡尔曼滤波是一种通过给定观测值的情况下,对未知变量提供预测估计的算法。卡尔曼滤波器已经在导航与定位、位置追踪、金融时序数据预测等应用中表现出良好的实用性。卡尔曼滤波器具有表达形式简单,不需要太大的计算能力和存储空间的特点。

卡尔曼滤波算法分为预测prediction和更新update两个阶段。“预测”和“更新”通常在不同的文献中也称为“传播”和修正。

Prediction:

                    (Predicted state estimate)

                        (Predicted error covariance)

Update:

​​​​​​​                                           (Measurement residual)

​​​​​​​        ​​​​​​​        ​​​​​​​             (Kalman gain)

                                  (Updated state estimate)

                        (Updated error covariance)

2.6 LSTM

长短时记忆模型(Long short-term memory, LSTM)是一种特殊的RNN,主要是为了解决长序列训练过程中的梯度消失和梯度爆炸问题。简单来说,就是相比普通的RNN,LSTM能够在更长的序列中有更好的表现。LSTM结构(图右)和普通RNN的主要输入输出区别如下所示。

下面具体对LSTM的内部结构来进行剖析。

首先使用LSTM的当前输入 和上一个状态传递下来的 ​​​​​​​ 拼接训练得到四个状态。

下面开始进一步介绍这四个状态在LSTM内部的使用。

2.7其它

3.应用举例

4.总结

上述列出了常见不同时间序列学习模型的原理与数学形式。具体应用中,对于偏向自相关的时间序列,常见于经济、金融如股市、期货相关的价格走势等问题使用较多的是AR、MA、ARMA、 ARIMA,KF主要应用于物理模型,常见于航空航天等领域的组合导航、定位算法等,HMM主要应用于语音识别、自然语言处理的早期模型,RNN/LSTM作为深度学习大红大紫后大模型的主要组件,使用范围涵盖了图像、视觉、语音、自然语言处理等模式识别的几乎各个方面。

机器学习中的时间序列预测模型相关推荐

  1. 预测类问题中的时间序列预测模型

    前言:时间序列预测模型适用于含有时间变量的模型预测,对中短期的预测有着较好的结果,对长期预测不适用.本文重点介绍ARIMA模型的原理及代码实现. 其他模型总结:​[Python]Python中的经典时 ...

  2. 时间序列预测步骤_建立时间序列预测模型的5个简单步骤

    时间序列预测步骤 I am a strong believer in "learning by doing" philosophy. 我坚信"做中学"的哲学. ...

  3. ML之ME/LF:机器学习中回归预测模型评估指标(MSE/RMSE/MAE)简介、使用方法、代码实现、案例应用之详细攻略

    ML之ME/LF:机器学习中回归预测模型评估指标(MSE/RMSE/MAE)简介.使用方法.代码实现.案例应用之详细攻略 目录 回归预测问题中评价指标简介 RMSE 标准差SD MSE函数

  4. ​【Python】Python中的经典时间序列预测模型总结

    时间序列预测是机器学习中一个经常被忽视的重要领域.时间序列在观察之间添加了显式的顺序依赖性:时间维度.这个额外的维度既是一个约束,也是一个提供额外信息来源的结构. 时间序列 时间序列分析 使用经典统计 ...

  5. ​Python中的经典时间序列预测模型总结

    来源:机器学习研习院 大家好,我是阳哥! 时间序列预测是机器学习中一个经常被忽视的重要领域.时间序列在观察之间添加了显式的顺序依赖性:时间维度.这个额外的维度既是一个约束,也是一个提供额外信息来源的结 ...

  6. 机器学习中的模型评价、模型选择及算法选择

    链客,专为开发者而生,有问必答! 此文章来自区块链技术社区,未经允许拒绝转载. 正确使用模型评估.模型选择和算法选择技术无论是对机器学习学术研究还是工业场景应用都至关重要.本文将对这三个任务的相关技术 ...

  7. 机器学习中缺失值处理

    机器学习中缺失值处理 当我们拿到一批数据的时候,往往都是"不干净"的,而缺失值是最常见也是最容易发现的.不同的缺失值处理方式对接下来的特征提取,建模等都有巨大影响.那么缺失值的处理 ...

  8. 时间序列预测模型笔记

    时间序列预测模型有四种:AR.MA.ARMA和ARIMA模型.本文首先介绍四种模型的含义及对比,然后详细介绍ARIMA模型实现步骤. 一.四种模型含义及对比 1.AR.MA.ARMA和ARIMA模型 ...

  9. lstm时间序列预测模型_时间序列-LSTM模型

    lstm时间序列预测模型 时间序列-LSTM模型 (Time Series - LSTM Model) Now, we are familiar with statistical modelling ...

最新文章

  1. sd.js 2.0封装:更加简化请求传参内容
  2. mac上使用crontab周期性执行python脚本
  3. 《大道至简》第八章读后感
  4. 使用:focus-within实现下拉菜单效果
  5. 大数据的应用-UserCF和ItemCF推荐算法
  6. 15 张图, 把TCP/IP 讲得一清二楚!
  7. 6月第二周中国五大顶级域名增2.4万 美国减6.8万
  8. 计算机三级设计与应用题,计算机数据库三级设计与应用题.pdf
  9. 通风技术交底书范文_通风与空调工程风管安装安全技术交底
  10. html表单验证元素必填,JavaScript 表单验证
  11. 关于 nektar 连接电脑使用的一些问题说明, nektar Impact GX61/GX49/SE25
  12. html如何将搜索图标放入搜索框中
  13. TPO Official 01 Speaking
  14. 水哥王昱珩直播解锁华为Mate 20黑科技,超微距效果实力非凡
  15. 云笔记+心情日记类APP推荐
  16. 串级PID和 前馈系统
  17. 【Java基础系列教程】第十五章 Java 正则表达式详解
  18. vue 获取当前日期的农历(阴历)
  19. Python虚拟环境教程:使用Virtualenv和Poetry
  20. 广东牵手宝钢淘汰落后产能(经济聚焦)

热门文章

  1. 【MATLAB】取整和求余函数
  2. Paint、Canvas、Matrix使用讲解(一、Paint)
  3. tinyproxy http代理服务
  4. 李宏毅机器学习课程学习笔记(1)——机器学习基本概念
  5. Redis 的五种基本数据类型
  6. Arduino UNO驱动micro SD卡读写模块
  7. QQ小程序流量主怎么开通的,流量主开通技巧。
  8. 一个51单片机的键盘扫描程序,算法简单有效
  9. ashx PHP文件 优劣,.NET_ashx介绍以及ashx文件与aspx文件之间的区别,ashx是什么文件? .ashx 文件用于 - phpStudy...
  10. 部编版是什么版本_9月小学语文换教材,“部编版”和“人教版”究竟有哪些不一样?...