【应用数学】动态最优化（7）：连续时间动态规划

200731本篇是应用数学之动态最优化理论的笔记，欢迎各位交流！今天是第七部分：连续时间动态规划~

7. 连续时间动态规划

7.1 确定性动态规划

优化问题为

max ⁡ ∫ 0 T f ( t , x , u ) d t + φ ( x ( T ) , T ) s.t. x ˙ = g ( t , x , u ) x ( 0 ) = a \begin{array}{l}\max \int_{0}^{T} f(t, x, u) \mathrm{d} t+\varphi(x(T), T) \\ \text { s.t. } \quad \dot{x}=\mathrm{g}(t, x, u) \\ \quad x(0)=a\end{array} max∫0Tf(t,x,u)dt+φ(x(T),T) s.t. x˙=g(t,x,u)x(0)=a

则定义值函数为
J ( t 0 , x 0 ) = max ⁡ ∫ t 0 T f ( t , x , u ) d t + φ ( x ( T ) , T ) J\left(t_{0}, x_{0}\right)=\max \int_{t_{0}}^{T} f(t, x, u) \mathrm{d} t+\varphi(x(T), T) J(t0,x0)=max∫t0Tf(t,x,u)dt+φ(x(T),T)

有包络定理

0 = max ⁡ u { f ( t , x , u ) + J t ( t , x ) + J x ( t , x ) g ( t , x , u ) } 0=\max _{u}\left\{f(t, x, u)+J_{t}(t, x)+J_{x}(t, x) g(t, x, u)\right\} 0=umax{f(t,x,u)+Jt(t,x)+Jx(t,x)g(t,x,u)}

和最优性条件
0 = f u ( t , x , u ) + J x ( t , x ) g u ( t , x , u ) 0=f_{u}(t, x, u)+J_{x}(t, x) g_{u}(t, x, u) 0=fu(t,x,u)+Jx(t,x)gu(t,x,u)

得到Hamilton-Jacob-Bellman方程（HJB方程）：

0 = max ⁡ u { f u ( t , x , u ( x ) ) + J t ( t , x ) + J x ( t , x ) g ( t , x , u ( x ) ) } 0=\max _{u}\left\{f_{u}(t, x, u(x))+J_{t}(t, x)+J_{x}(t, x) g(t, x, u(x))\right\} 0=umax{fu(t,x,u(x))+Jt(t,x)+Jx(t,x)g(t,x,u(x))}

可以证明，只有控制变量与状态变量是线性关系时，才能得到显示解。

事实上，令 λ = J x \lambda = J_x λ=Jx，最优性条件变为 0 = f u ( t , x , u ) + λ g u ( t , x , u ) 0=f_{u}(t, x, u)+\lambda g_{u}(t, x, u) 0=fu(t,x,u)+λgu(t,x,u)。对HJB方程求导得到 λ ˙ = − f x − λ g x \dot{\lambda}=-f_{x}-\lambda g_{x} λ˙=−fx−λgx，与最优控制结果相同。

因此求解过程为：
第一步，最优性条件：

0 = f u ( t , x , u ) + J x ( t , x ) g u ( t , x , u ) 0=f_{u}(t, x, u)+J_{x}(t, x) g_{u}(t, x, u) 0=fu(t,x,u)+Jx(t,x)gu(t,x,u)

第二步，代入HJB方程：
0 = max ⁡ u { f u ( t , x , u ( x ) ) + J t ( t , x ) + J x ( t , x ) g ( t , x , u ( x ) ) } 0=\max _{u}\left\{f_{u}(t, x, u(x))+J_{t}(t, x)+J_{x}(t, x) g(t, x, u(x))\right\} 0=umax{fu(t,x,u(x))+Jt(t,x)+Jx(t,x)g(t,x,u(x))}
第三步，依可行性条件求解。

7.2 随机动态规划

先定义随机微分方程：

d x = g ( t , x , u ) d t + σ ( t , x , u ) d z \mathrm{d} x=\mathrm{g}(t, x, u) \mathrm{d} t+\sigma(t, x, u) \mathrm{d} z dx=g(t,x,u)dt+σ(t,x,u)dz

则Ito公式为

d y = f t ( t , z ) d t + f z ( t , z ) d z + 1 2 f z z ( t , z ) d t \mathrm{d} y=f_{t}(t, z) \mathrm{d} t+f_{z}(t, z) \mathrm{d} z+\frac{1}{2} f_{z z}(t, z) \mathrm{d} t dy=ft(t,z)dt+fz(t,z)dz+21fzz(t,z)dt

对于随机优化问题

max ⁡ x , u E ∫ 0 T f ( t , x , u ) d t + φ ( x ( T ) , T ) s.t. d x = g ( t , x , u ) d t + σ ( t , x , u ) d z x ( 0 ) = a \begin{array}{ll}\max _{x, u} & E \int_{0}^{T} f(t, x, u) \mathrm{d} t+\varphi(x(T), T) \\ \text { s.t. } & \mathrm{d} x=\mathrm{g}(t, x, u) \mathrm{d} t+\sigma(t, x, u) \mathrm{d} z \\ & x(0)=a\end{array} maxx,u s.t. E∫0Tf(t,x,u)dt+φ(x(T),T)dx=g(t,x,u)dt+σ(t,x,u)dzx(0)=a

如上使用动态规划，得到
第一步，依最优化条件得到 u ( x ) u(x) u(x)：

0 = f u ( t , x , u ) + J x ( t , x ) g u ( t , x , u ) 0=f_{u}(t, x, u)+J_{x}(t, x) g_{u}(t, x, u) 0=fu(t,x,u)+Jx(t,x)gu(t,x,u)

第二步，代回得到 HJB 方程：
0 = f ( t , x , u ( x ) ) + J t ( t , x ) + J x ( t , x ) g ( t , x , u ( x ) ) + 1 2 J x x ( t , x ) σ 2 ( t , x , u ( x ) ) 0=f(t, x, u(x))+J_{t}(t, x)+J_{x}(t, x) g(t, x, u(x))+\frac{1}{2} J_{x x}(t, x) \sigma^{2}(t, x, u(x)) 0=f(t,x,u(x))+Jt(t,x)+Jx(t,x)g(t,x,u(x))+21Jxx(t,x)σ2(t,x,u(x))
第三步，加入可行性条件求解：
d x = g ( t , x , u ) d t + σ ( t , x , u ) d z x ( 0 ) = a \begin{array}{c}\mathrm{d} x=g(t, x, u) \mathrm{d} t+\sigma(t, x, u) \mathrm{d} z \\ x(0)=a\end{array} dx=g(t,x,u)dt+σ(t,x,u)dzx(0)=a