[笔记] 最优化方法

凸集的定义、性质

设S⊆EnS \subseteq E^n，若对∀x(1),x(2)∈S\forall x^{(1)}, x^{(2)} \in S及∀λ∈[0,1]\forall \lambda \in [0, 1]，都有λx(1)+(1−λ)x(2)∈S\lambda x^{(1)} + (1 - \lambda) x^{(2)} \in S，则称SS为凸集。

设S1S_1和S2S_2是两个凸集，β\beta实数，则
- βS1={βx∣x∈S1}\beta S_1 = \{ \beta x \mid x \in S_1 \}是凸集
- S1+S2={x(1)+x(2)∣x(1)∈S1,x(2)∈S2}S_1 + S_2 = \{ x^{(1)} + x^{(2)} \mid x^{(1)} \in S_1, x^{(2)} \in S_2 \}是凸集
- S1−S2={x(1)−x(2)∣x(1)∈S1,x(2)∈S2}S_1 - S_2 = \{ x^{(1)} - x^{(2)} \mid x^{(1)} \in S_1, x^{(2)} \in S_2 \}是凸集
- S1⋂S2S_1 \bigcap S_2是凸集

极点和极方向的定义

极点

设SS是非空集合，x∈Sx \in S，若xx不能表示成SS中两个不同点的凸组合，即若假设x=λx(1)+(1−λ)x(2)x = \lambda x^{(1)} + (1 - \lambda)x^{(2)}，必推出x=x(1)=x(2)x = x^{(1)} = x^{(2)}，则称xx是凸集SS的极点。
方向

设SSS是闭凸集，ddd为非零向量，如果对SSS中的每一个xxx，有\{ x + \lambda d \mid \lambda \ge 0 \} \subset S{x+λd∣λ≥0}⊂S\{ x + \lambda d \mid \lambda \ge 0 \} \subset S，则称ddd是SSS的方向。

设d^{(1)}d^{(1)}和d^{(2)}d^{(2)}是SS的两个方向，若对任何正数\lambda\lambda，有d^{(1)} \neq \lambda d^{(2)}d^{(1)} \neq \lambda d^{(2)}，则称d^{(1)}d^{(1)}和d^{(2)}d^{(2)}是两个不同的方向。

设S = \{ x \mid Ax = b, x \ge 0 \} \neq \emptysetS = \{ x \mid Ax = b, x \ge 0 \} \neq \emptyset，dd是非零向量，则dd是SS的方向 \iff\iff d \ge 0d \ge 0且Ad = 0Ad = 0。
极方向

若SS的方向dd不能表示成该集合的两个不同方向的正的线性组合，则称dd为SS的极方向。

例：设S = \{ (x_1, x_2)^T \mid x_2 \ge \lvert x_1 \rvert \}, d^{(1)} = (1, 1)^T, d^{(2)} = (-1, 1)^TS = \{ (x_1, x_2)^T \mid x_2 \ge \lvert x_1 \rvert \}, d^{(1)} = (1, 1)^T, d^{(2)} = (-1, 1)^T，则d^{(1)}, d^{(2)}d^{(1)}, d^{(2)}是SS的极方向。

解：对\forall x \in S, \forall \lambda \ge 0\forall x \in S, \forall \lambda \ge 0，有
x + \lambda d^{(1)} = (x_1, x_2)^T + \lambda (1, 1)^T = (x_1 + \lambda, x_2 + \lambda)^Tx + \lambda d^{(1)} = (x_1, x_2)^T + \lambda (1, 1)^T = (x_1 + \lambda, x_2 + \lambda)^T
x \in S \implies x_2 \ge \lvert x_1 \rvertx \in S \implies x_2 \ge \lvert x_1 \rvert
而x_2 + \lambda \ge \lvert x_1 \rvert + \lambda \ge \lvert x_1 + \lambda \rvertx_2 + \lambda \ge \lvert x_1 \rvert + \lambda \ge \lvert x_1 + \lambda \rvert，
\implies \{ x + \lambda d^{(1)} \mid \lambda \ge 0 \} \subset S\implies \{ x + \lambda d^{(1)} \mid \lambda \ge 0 \} \subset S
故d^{(1)}d^{(1)}是SS的方向。

设d^{(1)} = \lambda _1 (x_1, x_2)^T + \lambda _2 (y_1, y_2)^Td^{(1)} = \lambda _1 (x_1, x_2)^T + \lambda _2 (y_1, y_2)^T，其中\lambda _1, \lambda _2 \gt 0\lambda _1, \lambda _2 \gt 0, (x_1, x_2)^T, (y_1, y_2)^T(x_1, x_2)^T, (y_1, y_2)^T是SS的方向，则有
\left\{ \begin{array}{c} 1 = \lambda _1 x_1 + \lambda _2 y_1 \\ 1 = \lambda _1 x_2 + \lambda _2 y_2 \end{array} \right. \implies \lambda _1 x_1 + \lambda _2 y_1 = \lambda _1 x_2 + \lambda _2 y_2\left\{ \begin{array}{c} 1 = \lambda _1 x_1 + \lambda _2 y_1 \\ 1 = \lambda _1 x_2 + \lambda _2 y_2 \end{array} \right. \implies \lambda _1 x_1 + \lambda _2 y_1 = \lambda _1 x_2 + \lambda _2 y_2
\implies x_1 = \frac{\lambda _2}{\lambda _1} (y_2 - y_1) + x_2\implies x_1 = \frac{\lambda _2}{\lambda _1} (y_2 - y_1) + x_2
(x_1, x_2)^T, (y_1, y_2)^T(x_1, x_2)^T, (y_1, y_2)^T是SS的方向，
\implies x_2 \ge \lvert x_1 \rvert, y_2 \ge \lvert y_1 \rvert, (x_1, x_2)^T \neq 0, (y_1, y_2)^T \neq 0\implies x_2 \ge \lvert x_1 \rvert, y_2 \ge \lvert y_1 \rvert, (x_1, x_2)^T \neq 0, (y_1, y_2)^T \neq 0
\implies x_2 \ge \lvert x_1 \rvert = \left \lvert \frac{\lambda _2}{\lambda _1} (y_2 - y_1) + x_2 \right \rvert \implies y_2 \le y_1\implies x_2 \ge \lvert x_1 \rvert = \left \lvert \frac{\lambda _2}{\lambda _1} (y_2 - y_1) + x_2 \right \rvert \implies y_2 \le y_1
y_2 \ge \lvert y_1 \rvert \implies y_2 = y_1 \implies x_2 = x_1 \implies (x_1, x_2)^T = \frac{x_1}{y_1} (y_1, y_2)^Ty_2 \ge \lvert y_1 \rvert \implies y_2 = y_1 \implies x_2 = x_1 \implies (x_1, x_2)^T = \frac{x_1}{y_1} (y_1, y_2)^T
故d^{(1)}d^{(1)}是SS的极方向。

多面集的表示定理

设S = \{ x \mid Ax = b, x \ge 0 \}S = \{ x \mid Ax = b, x \ge 0 \}为非空多面集，则有
- 极点集非空，且存在有限个极点x^{(1)}, \cdots, x^{(k)}x^{(1)}, \cdots, x^{(k)}
- 极方向集合为空集 \iff\iff SS有界。若SS无界，则存在有限个极方向d^{(1)}, d^{(2)}, \cdots, d^{(l)}d^{(1)}, d^{(2)}, \cdots, d^{(l)}
- x \in S \iff x = \sum _{j = 1}^k \lambda _j x^{(j)} + \sum _{j = 1}^l \mu _j d^{(j)}x \in S \iff x = \sum _{j = 1}^k \lambda _j x^{(j)} + \sum _{j = 1}^l \mu _j d^{(j)}
  其中\lambda _j \ge 0, j = 1, 2, \cdots, k, \sum _{j = 1}^k \lambda _j = 1\lambda _j \ge 0, j = 1, 2, \cdots, k, \sum _{j = 1}^k \lambda _j = 1
  \mu _j \ge 0, j = 1, 2, \cdots, l\mu _j \ge 0, j = 1, 2, \cdots, l
凸集分离定理

设S_1S_1和S_2S_2是E^nE^n中两个非空集合，
H = \{ x \mid p^T x = \alpha \}H = \{ x \mid p^T x = \alpha \}为超平面，
如果对\forall x \in S_1\forall x \in S_1，都有p^T x \ge \alphap^T x \ge \alpha，
对\forall x \in S_2\forall x \in S_2，都有p^x \le \alphap^x \le \alpha，
则称超平面HH分离集合S_1S_1和S_2S_2。
- Farkas定理
  
  设AA为m \times nm \times n矩阵，cc为nn维列向量，
  则Ax \le 0, c^T x \gt 0Ax \le 0, c^T x \gt 0有解，
  \iff\iff A^T y = c, y \ge 0A^T y = c, y \ge 0无解。
  
  证：\implies\implies
  设存在y \ge 0y \ge 0，使得A^T y = cA^T y = c
  则y^T A = c^Ty^T A = c^T
  设\overline{x}\overline{x}为Ax \le 0, c^T x \gt 0Ax \le 0, c^T x \gt 0的一个解，
  则有A \overline{x} \le 0, c^T \overline{x} \gt 0A \overline{x} \le 0, c^T \overline{x} \gt 0
  \implies y^T A \overline{x} = c^T \overline{x} \gt 0 \quad (1)\implies y^T A \overline{x} = c^T \overline{x} \gt 0 \quad (1)
  y \ge 0, A \overline{x} \le 0 \implies y^T A \overline{x} \le 0y \ge 0, A \overline{x} \le 0 \implies y^T A \overline{x} \le 0与(1)(1)矛盾。
  
  \impliedby\impliedby
  设A^T y = c, y \ge 0A^T y = c, y \ge 0无解，令S = \{ z \mid z = A^T y, y \ge 0 \}S = \{ z \mid z = A^T y, y \ge 0 \}，则c \notin Sc \notin S
  可以证明SS为闭凸集，由凸集分离定理知，
  \exists x \neq 0, \varepsilon \gt 0\exists x \neq 0, \varepsilon \gt 0，使得对
  \forall z \in S\forall z \in S，有x^T c \ge \varepsilon + x^T zx^T c \ge \varepsilon + x^T z
  \varepsilon \gt 0 \implies x^T c \gt x^T z\varepsilon \gt 0 \implies x^T c \gt x^T z
  \implies c^T x \gt z^T x = y^T Ax\implies c^T x \gt z^T x = y^T Ax
  即对任意的y \ge 0y \ge 0，有c^T x \gt y^T Ax \quad (2)c^T x \gt y^T Ax \quad (2)
  令y = 0y = 0，得c^T x \gt 0c^T x \gt 0
  c^T xc^T x为一定数，yy的分量可取任意大
  \implies\implies由(2)(2)，必有Ax \le 0Ax \le 0
  故非零向量xx是Ax \le 0, c^T x \gt 0Ax \le 0, c^T x \gt 0的解。
例：设AA是m \times nm \times n矩阵，BB是l \times nl \times n矩阵，c \in E^nc \in E^n，证明下列两个系统恰有一个有解：
系1 Ax \le 0, Bx = 0, c^T x \gt 0Ax \le 0, Bx = 0, c^T x \gt 0，对某些x \in E^nx \in E^n。
系2 A^T y + B^T z = c, y \ge 0A^T y + B^T z = c, y \ge 0，对某些y \in E^ny \in E^n和z \in E^lz \in E^l。

证：Bx = 0Bx = 0等价于\left\{ \begin{array}{c} Bx \le 0 \\ Bx \ge 0 \end{array} \right.\left\{ \begin{array}{c} Bx \le 0 \\ Bx \ge 0 \end{array} \right.
故系统1有解，即
\begin{bmatrix} A \\ B \\ -B \end{bmatrix} x \le 0, c^T x \gt 0\begin{bmatrix} A \\ B \\ -B \end{bmatrix} x \le 0, c^T x \gt 0有解。
由Farkas定理知，
\begin{pmatrix} A^T & B^T & -B^T \end{pmatrix} \begin{bmatrix} y \\ u \\ v \end{bmatrix} = c, \begin{bmatrix} y \\ u \\ v \end{bmatrix} \ge 0\begin{pmatrix} A^T & B^T & -B^T \end{pmatrix} \begin{bmatrix} y \\ u \\ v \end{bmatrix} = c, \begin{bmatrix} y \\ u \\ v \end{bmatrix} \ge 0无解。
令z = u - vz = u - v，则
A^T y + B^T z = c, y \ge 0A^T y + B^T z = c, y \ge 0无解。
即系统2无解。

反之，若系统2有解。即
\begin{pmatrix} A^T & B^T & -B^T \end{pmatrix} \begin{bmatrix} y \\ u \\ v \end{bmatrix} = c, \begin{bmatrix} y \\ u \\ v \end{bmatrix} \ge 0\begin{pmatrix} A^T & B^T & -B^T \end{pmatrix} \begin{bmatrix} y \\ u \\ v \end{bmatrix} = c, \begin{bmatrix} y \\ u \\ v \end{bmatrix} \ge 0有解。
由Farkas定理，知
\begin{bmatrix} A \\ B \\ -B \end{bmatrix} x \le 0, c^T x \gt 0\begin{bmatrix} A \\ B \\ -B \end{bmatrix} x \le 0, c^T x \gt 0无解。
即Ax \le 0, Bx = 0, c^T x \gt 0Ax \le 0, Bx = 0, c^T x \gt 0无解，亦即系统1无解。
综上可得，两个系统恰有一个有解。
- Gordan定理
  
  设AA为m \times nm \times n矩阵，
  则Ax \lt 0Ax \lt 0有解，
  \iff\iff A^T y = 0, y \ge 0 (y \neq 0)A^T y = 0, y \ge 0 (y \neq 0)无解。
  
  证：\implies\implies
  设存在\overline{x}\overline{x}，使得A \overline{x} \lt 0A \overline{x} \lt 0
  若存在非零向量y \ge 0y \ge 0，使得A^T y = 0A^T y = 0
  则有y^T A = 0y^T A = 0，\implies y^T A \overline{x} = 0\implies y^T A \overline{x} = 0
  A \overline{x} \lt 0 \impliesA \overline{x} \lt 0 \implies yy的各分量不可能为非负数，与y \ge 0y \ge 0矛盾。
  
  \impliedby\impliedby
  （证等价命题）即若Ax \lt 0Ax \lt 0无解，则存在非零向量y \ge 0y \ge 0，使得A^T y = 0A^T y = 0
  设Ax \lt 0Ax \lt 0无解，令S_1 = \{ z \mid z = Ax, x \in E^n \}, S_2 = \{ z \mid z \lt 0 \}S_1 = \{ z \mid z = Ax, x \in E^n \}, S_2 = \{ z \mid z \lt 0 \}
  Ax \lt 0Ax \lt 0无解 \implies\implies S_1 \bigcap S_2 = \emptysetS_1 \bigcap S_2 = \emptyset
  由分离定理知，存在非零向量yy，使得对\forall x \in E^n, \forall z \in S_2\forall x \in E^n, \forall z \in S_2，有y^T Ax \ge y^T z \quad (1)y^T Ax \ge y^T z \quad (1)
  特别地，当x = 0x = 0时，有y^T z \le 0y^T z \le 0。
  z \lt 0z \lt 0，它的分量可取任意负数 \implies\implies y \ge 0y \ge 0
  在(1)(1)中令z \to 0z \to 0，则对\forall x \in E^n\forall x \in E^n，有
  y^T Ax \ge 0 \quad (2)y^T Ax \ge 0 \quad (2)
  令x = -A^T yx = -A^T y，代入(2)(2)，得-y^T A A^T y \ge 0-y^T A A^T y \ge 0
  即-\lVert A^T y \rVert \ge 0-\lVert A^T y \rVert \ge 0 \implies\implies A^T y = 0A^T y = 0
  故存在非零向量y \ge 0y \ge 0，使得A^T y = 0A^T y = 0

[笔记] 最优化方法 - 凸集相关推荐

泛函分析笔记(八) 凸集和凸函数
文章目录 1. 凸集 2. 凸函数 1. 凸集线段: 给定向量空间的两点 a 和 b ,集合 [ a , b ] : = { x ∈ X ; x = λ a + ( 1 − λ ) b , 0 ≤ ...
山东大学软件学院最优化方法考试复习笔记
课程为山东大学软件学院人工智能专业2020年大二下学期的"最优化方法"课程文章目录一．介绍二．算法 1.线性规划的图解法 2.基本单纯形法 3.两阶段单纯形法 4.给线性规划 ...
【凸优化笔记一】仿射集+凸集+锥
[凸优化笔记一]仿射集+凸集+锥引言直线&线段直线的定义线段的定义仿射集 Affine Sets 与C相关的子空间线性方程组的解集是仿射集零空间仿射包 Affine Hull ...
陈宝林《最优化理论与算法》超详细学习笔记（一）————第十章使用导数的最优化方法（最速下降法、牛顿法、阻尼牛顿法）
陈宝林<最优化理论与算法>超详细学习笔记 (一)----第十章使用导数的最优化方法(最速下降法.牛顿法.阻尼牛顿法) 写在前面第十章使用导数的最优化方法最速下降法牛顿法阻尼牛顿 ...
陈宝林《最优化理论与算法》超详细学习笔记（二）————补充知识（凸集）第二章线性规划的基本性质
陈宝林<最优化理论与算法>超详细学习笔记 (二)----补充知识凸集 & 第二章线性规划的基本性质补充知识凸集方向与极方向表示定理择一定理第一章线性规划的基本性质 ...
最优化方法笔记2：多维无约束最优化
最优化方法笔记2:多维无约束最优化 1 多维无约束最优化问题(待更新) 1.1 随机搜索法 1.2 共轭方向法(鲍威尔(Powell方法) 1.3 梯度法 1.2.1 最速上升法 1.2.2 改进的梯 ...
【高等工程数学】南理工研究生课程突击笔记8 最优化方法2——单纯形法
最优化方法2--单纯形法文章目录最优化方法2--单纯形法写在前面单纯形法表格法总结写在前面单纯形法原理好像很复杂,只是记操作方法又不太好,我参考了很多资料尽可能解释每一步的实际意义相关 ...
凸优化基础知识笔记-凸集、凸函数、凸优化问题
文章目录 1. 凸集 2. 凸函数 2.1. 凸函数的一阶条件 2.1. 凸函数例子 3. 凸优化问题 4. 对偶 4.1. Lagrange函数与Lagrange对偶 4.2. 共轭函数 4.3. ...
最优化理论基础与方法学习笔记——凸集与凸函数以及手写定理证明
文章目录凸集的定义凸集的几何意义有关凸集的定理定理1.4.2 内点.边界点和闭包的定义定义1.4.3 超平面的定义定理1.4.3 投影定理定理1.4.4 点与凸集的分离定理定理1.4. ...

[笔记] 最优化方法 - 凸集

凸集的定义、性质

极点和极方向的定义

凸集分离定理

[笔记] 最优化方法 - 凸集相关推荐

最新文章

热门文章