势函数和鞅的停时定理

借鉴了借鉴他人博客的博客

问题：
对于随机过程{A0,A1...At}\{A_0,A_1...A_t\}{A0,A1...At}，有TTT为关于这个过程停止时间的随机变量，求E(T)E(T)E(T)

势函数：一个关于状态的函数ϕ(A)\phi(A)ϕ(A)，其中AAA是一个状态。
对于随机过程中的任意连续两个状态At,At+1A_t,A_{t+1}At,At+1
如果我们让E(ϕ(At+1)−ϕ(At))=−1E(\phi(A_{t+1}) - \phi(A_t)) = -1E(ϕ(At+1)−ϕ(At))=−1
（注意到因为势函数和随机无关，有E(ϕ(A))=ϕ(A)E(\phi(A)) = \phi(A)E(ϕ(A))=ϕ(A)，这里的形式只是为了套用停时定理，因此可以直接理解为ϕ(At+1)+1=ϕ(At)\phi(A_{t+1}) + 1 = \phi(A_t)ϕ(At+1)+1=ϕ(At)）。
并且对于初始状态ϕ(A0)\phi(A_0)ϕ(A0)为常数。
令Xt=At+tX_t = A_t + tXt=At+t，则可以得到E(Xt)=E(X0),∀t≥0E(X_t) = E(X_0) , \forall t \geq 0E(Xt)=E(X0),∀t≥0
可以发现TTT也是{X0,X1,X2...}\{X_0,X_1,X_2...\}{X0,X1,X2...}的停时，

如果有E(XT)=E(X0)E(X_T) = E(X_0)E(XT)=E(X0)，则可以得到E(XT)−E(X0)=E(ϕ(AT)+T)−E(ϕ(A0))E(X_T) - E(X_0) = E(\phi(A_T)+T) - E(\phi(A_0))E(XT)−E(X0)=E(ϕ(AT)+T)−E(ϕ(A0))
从而得到E(T)=ϕ(A0)−ϕ(AT)E(T) = \phi(A_0) - \phi(A_T)E(T)=ϕ(A0)−ϕ(AT)，也就是我们只需要初始状态和结束状态的停时即可得到停时的期望。

但是E(XT)E(X_T)E(XT)不一定=E(X0)=E(X_0)=E(X0)，实际上E(XT)=E(X0)E(X_T) = E(X_0)E(XT)=E(X0)需要满足三个条件之一，这也就是停时定理的内容

从OIOIOI做题的角度来看题目是可解的所以一定有E(XT)=E(X0)E(X_T) = E(X_0)E(XT)=E(X0)。
当然知道一下证明也可以防止自己出题出锅被大佬喷。

停时定理是对于鞅成立的。
鞅：
随机过程{X0,X1...}\{X_0,X_1...\}{X0,X1...}
满足E[Xt+1−Xt∣Xt,Xt−1...X0]=0E[X_{t+1} - X_t|X_t,X_{t-1}...X_0]=0E[Xt+1−Xt∣Xt,Xt−1...X0]=0
（这句话的意思是在经历了X0,X1...XtX_0,X_1...X_tX0,X1...Xt的随机过程后，下一步的Xt+1−XtX_{t+1} - X_tXt+1−Xt的期望值为000）
可以根据这句话推出E(Xt)=E(X0),∀t≥0E(X_t) = E(X_0) , \forall t \geq 0E(Xt)=E(X0),∀t≥0，但是不能反着推。

停时定理：
当满足下列三个条件之一时，E(XT)=E(X0)E(X_T) = E(X_0)E(XT)=E(X0)，其中TTT是停止时间。
这三个条件按顺序是对于TTT的限制逐渐变松而对于XXX的限制逐渐变紧。

1.TTT几乎一定有界。
几乎一定的意思是概率为111，也就是说像是在[0,1][0,1][0,1]中随机取一个实数不等于xxx的概率也为111，但是你不能说取不到。

该情况的证明：（很伪）
TTT有界，则可以取t=Tt = Tt=T，使得E(XT)=E(Xt)=E(X0)E(X_T) = E(X_t) = E(X_0)E(XT)=E(Xt)=E(X0)
T几乎一定有界，所以该定理几乎一定成立。
因为TTT无界的情况概率为000，所以无法对E(XT)E(X_T)E(XT)造成贡献。

至于TTT什么时候才会不一定有界还几乎一定有界这就是我的知识盲区了。

2.E(T)E(T)E(T)有限，∣Xt+1−Xt∣|X_{t+1} - X_t|∣Xt+1−Xt∣一致有界或者线性增长。
有限的意思是…
算了给你们看文档吧

3.TTT几乎一定有限，XtX_tXt一致有界。

例题：CF 1025 G. Company Acquisitions
每个人可以有个上司，保证一个人的上司没有上司，每次随机选两个没有上司的人xxx,yyy，将xxx的上司变成yyy，并且对于以xxx为上司的人vvv，vvv将会变成没有上司的状态，求不能操作时的停时的期望。
（显然终止情况是有一个人没有上司，其他人的上司都是他。）

考虑到直接构造势函数是十分困难的，我们考虑用状态转移方程求出每个状态的势函数。
首先显然可以让终止状态的势函数=0=0=0，然后我们状压转移。
。。。
。。。
等等，那不就是在状压DP吗？
是的，在大多数情况下我们的势函数完全可以看做我们的dpdpdp状态。。。（期望dpdpdp）
但是函数毕竟是函数，我们可以利用函数的性质进行一些变形。
比如说如果我们把每个没有上司的人和他的下属看做一个块，有mmm个块，大小分别为a1,a2...ama_1,a_2...a_ma1,a2...am
那么我们可以构造势函数为ϕ(a)=∑i=1mf(ai)\phi(a) = \sum_{i=1}^m f(a_i)ϕ(a)=∑i=1mf(ai)，因为aia_iai之间的顺序不重要，那么我们这下就能够减少一些不必要的信息。
之后的推式子就看这篇博客的第三个例题把

感觉你让我构造，那这方法还是没有啥优越感啊

势函数和鞅的停时定理相关推荐

1.1 鞅、停时和域流-随机过程的可测性（布朗运动与随机计算【习题解答】）
1.1 鞅.停时和域流-随机过程的可测性(布朗运动与随机计算[习题解答]) 1.5 Problem. Let Y be a modification of X, and suppose that bo ...
4.8 鞅-最优停时定理(Durrett)答案
4.8 Optional Stopping Theorems Exercise 4.8.1-The generalization of Theorem 4.8.2 ( X N , F n X_N,\m ...
1.2 鞅、停时和域流-停时（布朗运动与随机计算【习题解答】）
Proposition 11 If E \mathcal{E} E is a non-empty class of sets containing ∅ \varnothing ∅, write E
4. 连续时间鞅（REN）
4. 连续时间鞅(REN) 前情提要闭区间上的鞅(终端值必然存在) 鞅的定义鞅与停时(Doob停止定理) 下鞅极值的终值控制不等式(Doob极大值不等式) 左闭右开区间的鞅(终端值未必存在) 鞅的 ...
3. 离散时间鞅(REN)
3. 离散时间鞅(REN) 前情提要鞅的定义及例子 Doob下鞅分解:下鞅=鞅+可料增过程鞅与停时(Doob停止定理,鞅的离散停时序列是鞅→\rightarrow→鞅有关停时的等价命题) 鞅的矩估 ...
随机微分方程学习笔记02 Doob鞅不等式
文章目录条件期望下的Jensen不等式(一维) 选择停时定理(optional stopping theorem) Doob鞅不等式(Doob's martingale inequality) 条件 ...
【课程整理】随机系统期末整理
文章目录 1 概率论部分 (1-4) 概率空间随机变量概率分布随机变量的函数仍然是随机变量条件期望 2 随机过程 (5-7) 随机过程 Martingale 停时马尔科夫链 3 参数估计 ( ...
马尔可夫过程2 | 状态空间
文章目录 6.4 状态空间的分解 6.5 极限特性与平稳分布 6.5.1 极限特性 6.5.2 平稳分布 6.6 转移矩阵的平均极限 6.4 状态空间的分解定义:设 A⊂SA\subset SA⊂S ...
随机过程2 平稳过程与二阶矩
文章目录 1. 相关函数 2. 功率谱 2.1 定义 2.2 功率谱与时域平均 3. 线性系统 4. 随机连续性与随机微积分 4.1 随机连续性 4.2 随机微分(均方意义) 4.3 Taylor 级 ...

势函数和鞅的停时定理

势函数和鞅的停时定理相关推荐

最新文章

热门文章