b站张颢老师随机过程笔记，本文主要是第一二节的内容。
建议先修课程：概率论，矩阵论或线性代数，高等数学。
由于张颢老师似乎是教电子的，里面的很多举例和信号相关，可以根据自己的实际来看，或者看看信号与系统。
笔记的pdf和markdown，需要的同学附邮箱地址私信我。
总结版传送门(推导较少)

文章目录

随机过程（Stochastic Process）
- 1.相关函数
- - 线性相关
  - 相关、不相关和独立
  - 相关系数
  - 相关函数
- 2.从相关到随机过程
- - 相关
  - 随机过程

随机过程（Stochastic Process）

一组随机变量，着眼于随机变量之间的关联，t只是一个index不一定是时间，t是两维就是随机场

Correlation(linear)：相关
- 时域 Time Domain：相关函数 correlation function
- 频域 Frequency Domain：功率谱密度 Spectrum
- 典型的相关过程：高斯过程 Gaussian Process
Markov Property
- 离散时间
- 连续时间
- 典型的马尔可夫过程：泊松过程 Poisson Process
Martingale
- Optional Theorem

1.相关函数

线性相关

对于多个随机变量的关系研究，最开始是联合概率密度。对于随机变量 x,y。联合分布Joint Distribution

f x , y ( x , y ) = ∂ 2 ∂ x ∂ y F x , y ( x , y ) f_{x,y}(x,y)=\frac{\partial^{2}}{\partial x\partial y}F_{x,y}(x,y) fx,y(x,y)=∂x∂y∂2Fx,y(x,y)

F x , y ( x , y ) = P ( X ≤ x , Y ≤ y ) F_{x,y}(x,y)=P(X\leq x,Y\leq y) Fx,y(x,y)=P(X≤x,Y≤y)

从图像看相关性：看一个变量发生变化时，另外一个变量的分布或者概率是否发生变化

相关系数：对于线性相关，相关系数越大，相关性越高，对于二维变量，其图像表现得越细窄

我们试图建立两个随机变量的线性关系 Y = α X Y=\alpha X Y=αX，但是这样忽略了变量的变化是有范围的，不是单纯的线性关系，可以将其扩展为 E ( Y − α X ) 2 E(Y-\alpha X)^{2} E(Y−αX)2，即均方误差（mean square error）。对于 α \alpha α，由于希望找到 min ⁡ α E ( Y − α X ) 2 \min\limits_{\alpha}E(Y-\alpha X)^{2} αminE(Y−αX)2，则 α o p t = E ( X Y ) E ( X 2 ) \alpha_{opt}=\frac{E(XY)}{E(X^{2})} αopt=E(X2)E(XY)。上面的部分更关键。

相关函数

相关函数 Correlation Funtion，定义在随机过程上

Auto自相关： R X ( t , s ) = E ( X ( t ) X ( s ) ) R_{X}(t,s)=E(X(t)X(s)) RX(t,s)=E(X(t)X(s))，Binary二元的。性质
- 对称性： R X ( t , s ) = R X ( s , t ) R_{X}(t,s)=R_{X}(s,t) RX(t,s)=RX(s,t)
- 非负性： R X ( t , t ) = E ( X 2 ( t ) ) ≥ 0 R_X(t,t)=E(X^2(t))\geq 0 RX(t,t)=E(X2(t))≥0，对角线上是非负的
- 满足Cauchy-Schwars不等式： ∣ R X ( t , s ) ∣ ≤ ( R X ( t , t ) R X ( s , s ) ) 1 2 |R_{X}(t,s)|\leq (R_{X}(t,t)R_{X}(s,s))^{\frac{1}{2}} ∣RX(t,s)∣≤(RX(t,t)RX(s,s))21
特点来自于相关运算，即内积

由于这样的相关还是二元的，希望把它转化成一元的，因此，我们需要做一个假设，即平稳性。

证明过程：

g ( α ) = < α x + y , α x + y > = < x , x > α 2 + 2 < x , y > α + < y , y > g(\alpha)=<\alpha x+y,\alpha x+y>=<x,x>\alpha^2+2<x,y>\alpha+<y,y> g(α)=<αx+y,αx+y>=<x,x>α2+2<x,y>α+<y,y>
Invariance to Stationary（平稳性）：平稳性是一种不变特征，指随机过程的某一类统计特性随着时间变化而保持不变的特性
- 宽平稳
  1. 均值不变，是常数： E [ X ( t ) ] = m ( t ) = m E[X(t)]=m(t)=m E[X(t)]=m(t)=m
  2. 相关函数满足 R X ( t , s ) = R X ( t + D , s + D ) , ∀ D ∈ R R_X(t,s)=R_X(t+D,s+D),\forall D \in \mathbb{R} RX(t,s)=RX(t+D,s+D),∀D∈R，这时相关函数只与两个时刻的差值有关，即 R X ( t , s ) = R X ( t − s ) = R X ( τ ) R_X(t,s)=R_X(t-s)=R_X(\tau) RX(t,s)=RX(t−s)=RX(τ)，而和时刻的具体位置无关。相关函数变成了一元的了。
  搞清楚什么是确定的，什么是随机的
  因此更加关注上面的第二条。
  1. 此时相关函数的性质：
  - 对称性： R X ( τ ) = R X ( − τ ) R_X(\tau)=R_X(-\tau) RX(τ)=RX(−τ)。即宽平稳情况下相关函数是偶函数
  - 柯西不等式： ∣ R X ( τ ) ∣ ≤ R X ( 0 ) |R_X(\tau)|\leq R_X(0) ∣RX(τ)∣≤RX(0)
  - Positive Definite正定性：
    
    矩阵正定： A ∈ R n × n , α ∈ R n , α T A α ≥ 0 A\in \mathbb{R}^{n\times n},\alpha \in \mathbb{R}^n,\alpha^TA\alpha \geq 0 A∈Rn×n,α∈Rn,αTAα≥0
    
    函数正定：函数 f ( x ) f(x) f(x)正定，即任取n个变量 x 1 , x 2 , . . . , x n x_1,x_2,...,x_n x1,x2,...,xn，构成矩阵的 A = ( a i j ) n × n , a i j = f ( x i − x j ) A=(a_{ij})_{n\times n},a_{ij}=f(x_i-x_j) A=(aij)n×n,aij=f(xi−xj)正定
    - 若正定，则 R X ( 0 ) ≥ 0 R_X(0)\geq0 RX(0)≥0。取1个变量，则 A = ∣ R X ( x 1 − x 1 ) ∣ A=|R_X(x_1-x_1)| A=∣RX(x1−x1)∣，一个元素， R X ( x 1 − x 1 ) = R X ( 0 ) ≥ 0 R_X(x_1-x_1)=R_X(0)\geq0 RX(x1−x1)=RX(0)≥0
    - 若正定，则一定满足柯西不等式 ∣ R X ( τ ) ∣ ≤ R X ( 0 ) |R_X(\tau)|\leq R_X(0) ∣RX(τ)∣≤RX(0)。取两个变量 x 1 = 0 , x 2 = τ x_1=0,x_2=\tau x1=0,x2=τ，则有矩阵
      A = ( R X ( x 1 − x 1 ) R X ( x 1 − x 2 ) R X ( x 2 − x 1 ) R X ( x 2 − x 2 ) ) = ( R X ( 0 ) R X ( − τ ) R X ( τ ) R X ( 0 ) ) ≥ 0 A= \begin{pmatrix} R_X(x_1-x_1) & R_X(x_1-x_2)\\ R_X(x_2-x_1) & R_X(x_2-x_2) \end{pmatrix} = \begin{pmatrix} R_X(0) & R_X(-\tau)\\ R_X(\tau) & R_X(0) \end{pmatrix} \geq0 A=(RX(x1−x1)RX(x2−x1)RX(x1−x2)RX(x2−x2))=(RX(0)RX(τ)RX(−τ)RX(0))≥0
    因为，正定矩阵对称，所以 R X ( τ ) = R X ( − τ ) R_X(\tau)=R_X(-\tau) RX(τ)=RX(−τ)。柯西不等式也因行列式为正可得。
    - 验证正定：任取n个时刻，有 τ 1 , τ 2 , . . . , τ n \tau_1,\tau_2,...,\tau_n τ1,τ2,...,τn，构成矩阵 A = ( f ( x i − x j ) ) i j ≥ 0 A=(f(x_i-x_j))_{ij}\geq 0 A=(f(xi−xj))ij≥0。任取 α ∈ R n , α = ( α 1 , . . . , α n ) T \alpha \in \mathbb{R}^n,\alpha = (\alpha_1,...,\alpha_n)^T α∈Rn,α=(α1,...,αn)T。计算
      α T A α = ∑ i = 1 n ∑ j = 1 n R X ( τ i − τ j ) α i α j = ∑ i = 1 n ∑ j = 1 n E [ X ( τ i ) X ( τ j ) ] α i α j = E [ ∑ i = 1 n ∑ j = 1 n X ( τ i ) X ( τ j ) α i α j ] ( 因为此处 α 没有随机性 ) = E [ ∑ i = 1 n X ( τ i ) α i ] 2 ≥ 0 ( 最后一步化简可能比较难理解，注意这里不是 E [ ∑ i = 1 n ( X ( τ i ) α i ) 2 ] \begin{aligned} \alpha ^TA\alpha &=\sum_{i=1}^n\sum_{j=1}^nR_X(\tau_i-\tau_j)\alpha_i\alpha_j\\ &=\sum_{i=1}^n\sum_{j=1}^nE[X(\tau_i)X(\tau_j)]\alpha_i\alpha_j\\ &=E[\sum_{i=1}^n\sum_{j=1}^nX(\tau_i)X(\tau_j)\alpha_i\alpha_j](因为此处\alpha没有随机性)\\ &=E[\sum_{i=1}^nX(\tau_i)\alpha_i]^2\geq0(最后一步化简可能比较难理解，注意这里不是E[\sum_{i=1}^n(X(\tau_i)\alpha_i)^2] \end{aligned} αTAα=i=1∑nj=1∑nRX(τi−τj)αiαj=i=1∑nj=1∑nE[X(τi)X(τj)]αiαj=E[i=1∑nj=1∑nX(τi)X(τj)αiαj](因为此处α没有随机性)=E[i=1∑nX(τi)αi]2≥0(最后一步化简可能比较难理解，注意这里不是E[i=1∑n(X(τi)αi)2]
      
      相关矩阵Correlation Matrix。下面是正定证明的另一种写法。
      
      X = ( X ( τ 1 ) , . . . , X ( τ n ) ) T , ( R X ( τ i − τ j ) ) i j = E ( X X T ) = R X=(X(\tau_1),...,X(\tau_n))^T,(R_X(\tau_i-\tau_j))_{ij}=E(XX^T)=R X=(X(τ1),...,X(τn))T,(RX(τi−τj))ij=E(XXT)=R
      
      α T R α = α T E ( X X T ) α = E ( α T X X T α ) = E ( α T X ) 2 \alpha^TR\alpha=\alpha^TE(XX^T)\alpha=E(\alpha^TXX^T\alpha)=E(\alpha^TX)^2 αTRα=αTE(XXT)α=E(αTXXTα)=E(αTX)2
    - 相关函数是正定函数，这是其特征性质Characteristic Property，即充分必要。正定函数一定是相关函数，任何一个正定函数一定能找到某个随机过程，使得该正定函数是其相关函数。
  1. 如果有 R ( 0 ) = R ( τ ) , τ ≠ 0 R(0)=R(\tau),\tau\neq0 R(0)=R(τ),τ=0，则一定能推断出 R ( τ ) = R ( τ + T ) R(\tau)=R(\tau+T) R(τ)=R(τ+T)，即相关函数一定是周期的。
  验证：
  
  均方周期性mean square Periodic
  E ∣ X ( τ + T ) − X ( τ ) ∣ 2 = E [ X 2 ( τ + T ) ] + E [ X 2 ( τ ) ] − 2 E [ X ( τ + T ) X ( τ ) ] = 2 R X ( 0 ) − 2 R X ( T ) = 0 ∣ R ( τ + T ) − R ( τ ) ∣ = ∣ E [ X ( τ + T ) X ( 0 ) ] − E [ X ( τ ) X ( 0 ) ] ∣ = ∣ E [ X ( 0 ) ( X ( τ + T ) − X ( τ ) ) ] ∣ ≤ ( E [ X 2 ( 0 ) ] E ∣ X ( τ + T ) − X ( τ ) ∣ 2 ) 1 2 = 0 \begin{aligned} E|X(\tau+T)-X(\tau)|^2&=E[X^2(\tau+T)]+E[X^2(\tau)]-2E[X(\tau+T)X(\tau)]\\ &=2R_X(0)-2R_X(T)=0\\ |R(\tau+T)-R(\tau)|&=|E[X(\tau+T)X(0)]-E[X(\tau)X(0)]|\\ &=|E[X(0)(X(\tau+T)-X(\tau))]|\\ &\leq (E[X^2(0)]E|X(\tau+T)-X(\tau)|^2)^\frac{1}{2}=0 \end{aligned} E∣X(τ+T)−X(τ)∣2∣R(τ+T)−R(τ)∣=E[X2(τ+T)]+E[X2(τ)]−2E[X(τ+T)X(τ)]=2RX(0)−2RX(T)=0=∣E[X(τ+T)X(0)]−E[X(τ)X(0)]∣=∣E[X(0)(X(τ+T)−X(τ))]∣≤(E[X2(0)]E∣X(τ+T)−X(τ)∣2)21=0
  1. 是否存在Rectangle Window（矩形窗）一样的相关函数？不存在。
    1. 相关函数的一个特性：相关函数在0点连续，则在任意点连续（局部—>总体，来源于平稳的特点）
    2. 不是正定的，因为傅里叶函数不是正的，不是相关函数
  2. 三角波是否是相关函数？是。
    时域卷积为频域乘积。则傅里叶变换为正，故正定，是相关函数
  证明1：
  
  两个随机变量之间的距离，是均方距离mean square distance ，进而推广到随机极限（满足范数的定义：非负性、对称性、三角不等式（通过柯西不等式可推导））
  
  均方连续性mean square continuous
  E ∣ X ( τ + Δ ) − X ( τ ) ∣ 2 = 2 R X ( 0 ) − 2 R X ( Δ ) 因为在 0 点连续，因此 lim ⁡ Δ → 0 E ∣ X ( τ + Δ ) − X ( τ ) ∣ 2 = 0 ∣ R ( τ + Δ ) − R ( τ ) ∣ ≤ ( E [ X 2 ( 0 ) ] E ∣ X ( τ + Δ ) − X ( τ ) ∣ 2 ) 1 2 = 0 因此 lim ⁡ Δ → 0 ∣ R ( τ + Δ ) − R ( τ ) ∣ = 0 \begin{aligned} &E|X(\tau+\Delta)-X(\tau)|^2 =2R_X(0)-2R_X(\Delta)\\ &因为在0点连续，因此 \lim_{\Delta\rightarrow0}E|X(\tau+\Delta)-X(\tau)|^2=0\\ &|R(\tau+\Delta)-R(\tau)|\leq(E[X^2(0)]E|X(\tau+\Delta)-X(\tau)|^2)^\frac{1}{2}=0\\ &因此\lim_{\Delta\rightarrow0}|R(\tau+\Delta)-R(\tau)|=0 \end{aligned} E∣X(τ+Δ)−X(τ)∣2=2RX(0)−2RX(Δ)因为在0点连续，因此Δ→0limE∣X(τ+Δ)−X(τ)∣2=0∣R(τ+Δ)−R(τ)∣≤(E[X2(0)]E∣X(τ+Δ)−X(τ)∣2)21=0因此Δ→0lim∣R(τ+Δ)−R(τ)∣=0
  证明2：
  
  Bochner指出：一个函数是正定的，当且仅当该函数的傅里叶变换是正的。（这里提供了频域研究的思路，而宽平稳是可以做频域分析的）
  f ( x ) i s P . d ⇔ ∫ − ∞ + ∞ f ( x ) e − j ω x d x ≥ 0 f(x)\ is\ P.d\Leftrightarrow\int_{-\infty}^{+\infty}f(x)e^{-j\omega x}dx\geq0 f(x) is P.d⇔∫−∞+∞f(x)e−jωxdx≥0
  矩形窗的傅里叶变换是Sa函数，不满足条件。
  
  下面验证Bochner提出的那句话：
  
  已知 F ( ω ) = ∫ − ∞ + ∞ f ( x ) e − j ω x d x ≥ 0 F(\omega)=\int_{-\infty}^{+\infty}f(x)e^{-j\omega x}dx\geq0 F(ω)=∫−∞+∞f(x)e−jωxdx≥0。证明： f ( x ) = 1 2 π ∫ − ∞ + ∞ F ( ω ) e j ω x d ω f(x)=\frac{1}{2\pi}\int_{-\infty}^{+\infty}F(\omega)e^{j\omega x}d\omega f(x)=2π1∫−∞+∞F(ω)ejωxdω正定。
  
  先看 g ( x ) = e j ω x g(x)=e^{j\omega x} g(x)=ejωx：即 ∀ x 1 , x 2 , . . . , x n . ( e j ω ( x i − x j ) ) i j = B , ∀ α ∈ C n ⇒ α H B α ≥ 0 \forall x_1,x_2,...,x_n.(e^{j\omega(x_i-x_j)})_{ij}=B,\forall \alpha\in C^n\Rightarrow\alpha^HB\alpha\geq0 ∀x1,x2,...,xn.(ejω(xi−xj))ij=B,∀α∈Cn⇒αHBα≥0
  α H B α = ∑ i = 1 n ∑ j = 1 n e j ω ( x i − x j ) α i ‾ α j = ∣ ∑ i = 1 n e j ω ( x i ) α i ‾ ∣ 2 ≥ 0 \begin{aligned} \alpha^HB\alpha&=\sum_{i=1}^n\sum_{j=1}^ne^{j\omega(x_i-x_j)}\overline{\alpha_i}\alpha_j\\ &=|\sum_{i=1}^ne^{j\omega(x_i)}\overline{\alpha_i}|^2\geq0 \end{aligned} αHBα=i=1∑nj=1∑nejω(xi−xj)αiαj=∣i=1∑nejω(xi)αi∣2≥0
  h ( ω , x ) i s P . d ⇒ ∑ k = 1 n a k h ( ω k , x ) i s P . d , a k ≥ 0 ⇒ ∫ − ∞ + ∞ a ( ω ) h ( ω , x ) d ω h(\omega,x)\ is \ P.d\Rightarrow\sum_{k=1}^na_kh(\omega_k,x)\ is \ P.d,a_k\geq0\Rightarrow\int_{-\infty}^{+\infty}a(\omega)h(\omega,x)d\omega h(ω,x) is P.d⇒∑k=1nakh(ωk,x) is P.d,ak≥0⇒∫−∞+∞a(ω)h(ω,x)dω
  
  随机变量：样本空间映射到实数轴的确定性函数。
  
  概率：样本空间包含了所有的可能性，然后P(A)=p，这是一个确定性函数，本身表示的是样本空间某个子集的出现可能性的大小。是先验的。
  
  概率：从模型(先验)到决策
  
  统计：从数据得到模型
  
  #mermaid-svg-Z2T4lshtAzwyYIai {font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-svg-Z2T4lshtAzwyYIai .error-icon{fill:#552222;}#mermaid-svg-Z2T4lshtAzwyYIai .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-Z2T4lshtAzwyYIai .edge-thickness-normal{stroke-width:2px;}#mermaid-svg-Z2T4lshtAzwyYIai .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-Z2T4lshtAzwyYIai .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-Z2T4lshtAzwyYIai .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-Z2T4lshtAzwyYIai .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-Z2T4lshtAzwyYIai .marker{fill:#333333;stroke:#333333;}#mermaid-svg-Z2T4lshtAzwyYIai .marker.cross{stroke:#333333;}#mermaid-svg-Z2T4lshtAzwyYIai svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-Z2T4lshtAzwyYIai .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-Z2T4lshtAzwyYIai .cluster-label text{fill:#333;}#mermaid-svg-Z2T4lshtAzwyYIai .cluster-label span{color:#333;}#mermaid-svg-Z2T4lshtAzwyYIai .label text,#mermaid-svg-Z2T4lshtAzwyYIai span{fill:#333;color:#333;}#mermaid-svg-Z2T4lshtAzwyYIai .node rect,#mermaid-svg-Z2T4lshtAzwyYIai .node circle,#mermaid-svg-Z2T4lshtAzwyYIai .node ellipse,#mermaid-svg-Z2T4lshtAzwyYIai .node polygon,#mermaid-svg-Z2T4lshtAzwyYIai .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-Z2T4lshtAzwyYIai .node .label{text-align:center;}#mermaid-svg-Z2T4lshtAzwyYIai .node.clickable{cursor:pointer;}#mermaid-svg-Z2T4lshtAzwyYIai .arrowheadPath{fill:#333333;}#mermaid-svg-Z2T4lshtAzwyYIai .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-Z2T4lshtAzwyYIai .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-Z2T4lshtAzwyYIai .edgeLabel{background-color:#e8e8e8;text-align:center;}#mermaid-svg-Z2T4lshtAzwyYIai .edgeLabel rect{opacity:0.5;background-color:#e8e8e8;fill:#e8e8e8;}#mermaid-svg-Z2T4lshtAzwyYIai .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-Z2T4lshtAzwyYIai .cluster text{fill:#333;}#mermaid-svg-Z2T4lshtAzwyYIai .cluster span{color:#333;}#mermaid-svg-Z2T4lshtAzwyYIai div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-Z2T4lshtAzwyYIai :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;}
  
  统计statistic
  
  概率Probability
  
  大数据big data
  
  数据data
  
  模型model
  
  决策decision

例1：Modulated Signal。 X ( t ) = A ( t ) c o s ( 2 π f 0 t + θ ) , A ( t ) : 随机 , θ ∼ v ( 0 , a π ) ， A ( t ) 与 θ X(t)=A(t)cos(2\pi f_0t+\theta),A(t):随机,\theta \sim v(0,a\pi)，A(t)与\theta X(t)=A(t)cos(2πf0t+θ),A(t):随机,θ∼v(0,aπ)，A(t)与θ 独立。证明宽平稳：

先看一阶矩：
E [ X ( t ) ] = E [ A ( t ) ] E [ c o s ( 2 π f 0 t + θ ) ] = E [ A ( t ) ] ∫ 0 2 π c o s ( 2 π f 0 t + θ ) d θ = 0 \begin{aligned} E[X(t)]&=E[A(t)]E[cos(2\pi f_0t+\theta)]\\ &=E[A(t)]\int^{2\pi}_{0}cos(2\pi f_0t+\theta)d\theta \\ &=0 \end{aligned} E[X(t)]=E[A(t)]E[cos(2πf0t+θ)]=E[A(t)]∫02πcos(2πf0t+θ)dθ=0
再看相关函数：
R X ( t , s ) = E [ X ( t ) X ( s ) ] = E [ A ( t ) A ( s ) ] E [ c o s ( 2 π f 0 t + θ ) c o s ( 2 π f 0 s + θ ) ] = E [ A ( t ) A ( s ) ] 1 2 ( E [ c o s ( 2 π f 0 ( t − s ) ) ] + E [ c o s ( 2 π f 0 ( t + s ) + 2 θ ) ] ) = 1 2 E [ A ( t ) A ( s ) ] E [ c o s ( 2 π f 0 ( t − s ) ) ] \begin{aligned} R_X(t,s)&=E[X(t)X(s)]\\ &=E[A(t)A(s)]E[cos(2\pi f_0t+\theta)cos(2\pi f_0s+\theta)]\\ &=E[A(t)A(s)]\frac{1}{2}(E[cos(2\pi f_0(t-s))]+E[cos(2\pi f_0(t+s)+2\theta)])\\ &=\frac{1}{2}E[A(t)A(s)]E[cos(2\pi f_0(t-s))] \end{aligned} RX(t,s)=E[X(t)X(s)]=E[A(t)A(s)]E[cos(2πf0t+θ)cos(2πf0s+θ)]=E[A(t)A(s)]21(E[cos(2πf0(t−s))]+E[cos(2πf0(t+s)+2θ)])=21E[A(t)A(s)]E[cos(2πf0(t−s))]
可见，如果振幅调制本身是宽平稳的，则整体的信号是宽平稳的。

例2：Random Telegraph Signal。随机取1或-1。已知在[s,t]时间内，切换k次的概率为 P = λ ( t − s ) k k ! e − λ ( t − s ) P=\frac{\lambda(t-s)^k}{k!}e^{-\lambda(t-s)} P=k!λ(t−s)ke−λ(t−s)。泊松分布Poisson Distribution。证明宽平稳。
计算二阶矩（相关函数）：
E [ X ( t ) X ( s ) ] = R X ( t , s ) = 1 ⋅ P 1 + ( − 1 ) ⋅ P − 1 = ∑ k ∈ e v e n λ ( t − s ) k k ! − ∑ k ∈ o d d λ ( t − s ) k k ! = e − 2 λ ( t − s ) \begin{aligned} E[X(t)X(s)]&=R_X(t,s)\\ &=1\cdot P_1+(-1)\cdot P_{-1}\\ &=\sum_{k \in even}\frac{\lambda(t-s)^k}{k!}-\sum_{k \in odd}\frac{\lambda(t-s)^k}{k!}\\ &=e^{-2\lambda(t-s)} \end{aligned} E[X(t)X(s)]=RX(t,s)=1⋅P1+(−1)⋅P−1=k∈even∑k!λ(t−s)k−k∈odd∑k!λ(t−s)k=e−2λ(t−s)
其中，结果只有1和-1两种可能，故需处理两种结果的概率即可。而结果是1说明信号翻转了偶数次，结果是-1说明翻转了奇数次。因为
∑ λ ( t − s ) k k ! = e λ ( t − s ) ∑ [ − λ ( t − s ) ] k k ! = e − λ ( t − s ) \begin{aligned} \sum \frac{\lambda(t-s)^k}{k!}&=e^{\lambda(t-s)}\\ \sum \frac{[-\lambda(t-s)]^k}{k!}&=e^{-\lambda(t-s)} \end{aligned} ∑k!λ(t−s)k∑k![−λ(t−s)]k=eλ(t−s)=e−λ(t−s)
则
∑ k ∈ e v e n λ ( t − s ) k k ! = 1 2 [ e λ ( t − s ) + e − λ ( t − s ) ] = 1 2 [ 1 + e − 2 λ ( t − s ) ] ∑ k ∈ o d d λ ( t − s ) k k ! = 1 2 [ e λ ( t − s ) − e − λ ( t − s ) ] = 1 2 [ 1 − e − 2 λ ( t − s ) ] \begin{aligned} \sum_{k \in even}\frac{\lambda(t-s)^k}{k!} &=\frac{1}{2}[e^{\lambda(t-s)}+e^{-\lambda(t-s)}]\\ &=\frac{1}{2}[1+e^{-2\lambda(t-s)}]\\ \sum_{k \in odd}\frac{\lambda(t-s)^k}{k!} &=\frac{1}{2}[e^{\lambda(t-s)}-e^{-\lambda(t-s)}]\\ &=\frac{1}{2}[1-e^{-2\lambda(t-s)}] \end{aligned} k∈even∑k!λ(t−s)kk∈odd∑k!λ(t−s)k=21[eλ(t−s)+e−λ(t−s)]=21[1+e−2λ(t−s)]=21[eλ(t−s)−e−λ(t−s)]=21[1−e−2λ(t−s)]

2.从相关到随机过程

随机过程

随机过程X(t)，t：Index Set只是一个指标集（Time就是随机过程，Space就是随机场）。用相关函数研究随机过程， R X ( t , s ) = E ( X ( t ) X ( s ) ) R_X(t,s)=E(X(t)X(s)) RX(t,s)=E(X(t)X(s))，是一个确定性的二元函数。如果随机过程满足平稳性，如宽平稳，则相关函数只依赖于时间差,即 R X ( t , s ) = R X ( t − s ) R_X(t,s)=R_X(t-s) RX(t,s)=RX(t−s)
X ( t ) = X ( ω , t ) , Ω × R → R X(t)=X(\omega,t),\Omega\times\mathbb{R}\rightarrow\mathbb{R} X(t)=X(ω,t),Ω×R→R

映射关系：给定t，得到一个随机变量X（关心随机变量之间的关系）。需要知道的是，随机变量本身也是一个函数
X ( t , w ) X(t,w) X(t,w)，实际上是一个二元函数，不止依赖于t，还依赖于样本空间里的样本点w，w体现了随机性
因此，给定w，得到一个关于时间的函数，不再有不确定性，该函数称为样本轨道Sample Path

样本轨道在不同时刻的取值不是完全独立的，受到一种关系的约束，随机过程在不同时刻得到的不同的随机变量之间有着相互的约束

希望研究，不确定性下确定的东西，随着时间变化下的趋势

映射关系：给定t，得到一个随机变量X（关心随机变量之间的关系）。需要知道的是，随机变量本身也是一个函数
X ( t , w ) X(t,w) X(t,w)，实际上是一个二元函数，不止依赖于t，还依赖于样本空间里的样本点w，w体现了随机性
因此，给定w，得到一个关于时间的函数，不再有不确定性，该函数称为样本轨道Sample Path

样本轨道在不同时刻的取值不是完全独立的，受到一种关系的约束，随机过程在不同时刻得到的不同的随机变量之间有着相互的约束

希望研究，不确定性下确定的东西，随着时间变化下的趋势

随机过程笔记：1.相关函数相关推荐

概率论与随机过程笔记（1）：样本空间与概率
概率论与随机过程笔记(1):样本空间与概率 2019-10-27 这部分的笔记依据Dimitri P. Bertsekas和John N. Tsitsiklis的<概率导论>第1章内容(不 ...
应用随机过程笔记（一）：随机过程的定义
title: 应用随机过程笔记(一):随机过程的定义 date: 2019-12-23 12:16:13 mathjax: true tags: 应用随机过程数学 categories: 数学随机 ...
随机过程笔记：1.相关函数 -无推导版
文章目录 1.相关函数相关.不相关和独立相关系数相关函数 2.从相关到随机过程相关随机过程 1.相关函数相关.不相关和独立相关E(XY)E(XY)E(XY) 去中心化的相关E(X−EX) ...
应用随机过程笔记第二周
随机过程第二周笔记第一天 2.1.1概念 2.1.2 基本特性有限维分布函数定义2.1 Kolmogonov概率分布函数存在定理基本数字特征联合特性和复过程联合概率密度函数 (n+m)维联 ...
随机过程笔记：2.谱分析
文章目录谱分析Spectral Analysis of Stochastic Process 1.引入:确定性信号的分解 2.随机信号的分解--功率谱密度总结版传送门,推导较少谱分析Spectr ...
随机过程笔记(5) 平稳过程
文章目录严平稳和宽平稳严平稳宽平稳严平稳和宽平稳的关系宽平稳的性质例题联合平稳过程定义各态历经性( 均方遍历性 ) 意义均值遍历定理自相关函数遍历定理例题琐碎联想严平稳和宽 ...
随机过程笔记（二）：布朗运动
文章目录 Random number Generation 1 Brownian Motion 1.1 Simulation of a Brownian Motion Path<?font> ...
随机过程笔记(9) 瑞利分布和窄带高斯
文章目录 Rayleigh分布定义期望和方差高斯分布的仿真均匀分布可以仿真任意均匀分布仿真瑞利分布均匀+瑞利仿真高斯分布窄带高斯进一步一维包络和一维相位分布我们目前作的工作的出发 ...
随机过程基础3--宽平稳随机过程的谱分析
本节关于随机过程的谱分析,当然是针对宽平稳随机过程 1,什么是谱? 将复杂对象分解成几个方面,使得我们可以从几个方面尽可能简单地观察这个复杂对象的某些特征. 例如光谱是按照光的波长分解. 对于随机信号 ...

随机过程笔记：1.相关函数

文章目录

随机过程（Stochastic Process）

1.相关函数

线性相关

相关、不相关和独立

相关系数

相关函数

2.从相关到随机过程

相关

随机过程

随机过程笔记：1.相关函数相关推荐

最新文章

热门文章