集合与函数（Sets and functions）

凸优化问题（Convex Optimization problem）

A conex optimization problem is of the form:
min⁡x∈Df(x)\min_{x \in D} f(x)x∈Dminf(x) subject to
gi(x)<0,i=1,...,mhj(x)=0,j=1,...,r\begin{array}{ll} g_i(x)<0, ~i=1,...,m \\ h_j(x)=0, ~j=1,...,r \end{array}gi(x)<0, i=1,...,mhj(x)=0, j=1,...,r where fff and gig_igi are all convex, and hjh_jhj are affine. Any local minimizer of a convex optimization problem is a global minimizer.

凸集（Convex Sets）

定义（Definition ）

Definition 2.1 凸集(Convex set): a set C⊆RnC \subseteq \mathbb{R}^nC⊆Rn is a convex set if for any x,y∈Cx,y\in Cx,y∈C, we have tx+(1−t)y∈C,∀0≤t≤1.tx+(1-t)y \in C, ~\forall 0\le t \le 1.tx+(1−t)y∈C, ∀0≤t≤1.
In other words, line segment joining any two elements lies entirly in set as following picture

Then, we assume that the black line respresents vector tx+(1−t)ytx+(1-t)ytx+(1−t)y with t∈[0,1]t \in [0,1]t∈[0,1]; the vector always locates the set space composed of the linear combination of xxx and yyy, for any ttt.

Definition 2.2 Convex combination of x1,...,xk∈Rn:x_1,...,x_k \in \mathbb{R}^n:x1,...,xk∈Rn: any linear combination θ1x1+...+θkxk,\theta_1x_1+...+\theta_kx_k,θ1x1+...+θkxk, with θi≥0,\theta_i \ge 0,θi≥0, and ∑i=1kθi\sum_{i=1}^{k}\theta_i∑i=1kθi=1.
Definition 2.3 集合的凸包(Convex hull of set )CCC: all convex combinations of elements in CCC. The convex hull is always convex.
Definition 2.4 锥(Cone): a set C⊆RnC\subseteq \mathbb{R}^nC⊆Rn is a cone if for any x∈Cx \in Cx∈C, we have tx∈Ctx \in Ctx∈C for all t≥0t \geq 0t≥0.
Definition 2.5 凸锥(Convex cone): a cone that is also convex, i.e., x1,x2∈C→t1x1+t2x2∈Cforallt1,t2≥0x_1,x_2 \in C\rightarrow t_1x_1+t_2x_2 \in C ~ for ~ all ~ t_1,t_2\geq 0x1,x2∈C→t1x1+t2x2∈C for all t1,t2≥0
Definition 2.6 圆锥组合 Conic combination of x1,...,xk∈Rx_1,...,x_k \in \mathbb{R}x1,...,xk∈R: any linear combination θ1x1+...+θkxk,withθ≥0\theta_1x_1+...+\theta_kx_k, ~ with ~ \theta \geq 0θ1x1+...+θkxk, with θ≥0
Definition 2.7 Conic hull of set CCC； all conic combinations of elements in CCC.

凸集的例子（Examples of convex sets）

Empty set, point, and line are convex set.
范数球（Norm ball）: {x:∥x∥≤r}\{x:\|x\| \le r\}{x:∥x∥≤r}, for given norm ∥⋅∥\|\cdot\|∥⋅∥, radius rrr.
超平面（Hyperplane）:{x:aTx=b}\{x:a^Tx=b\}{x:aTx=b}, for given a,ba,ba,b.
半空间（Halfspace）:{x:aTx≤b}\{ x: a^Tx \leq b\}{x:aTx≤b}.
仿射空间（Affine space）: {x:Ax=b}\{x:Ax=b\}{x:Ax=b}
多面体（Polyhedron）:{x:Ax≤b}\{x:Ax\leq b \}{x:Ax≤b}，下面为多面体

等价问题

注意：两个问题的最优值相同，则这两个问题等价。

A. 增加约束：

min⁡f0(x)s.t.li≤xi≤ui,i=1,...,n.\begin{array}{ll} & \min ~ f_0(x) \\ & s.t. ~~~ l_i \le x_i \le u_i, i=1,...,n. \end{array}min f0(x)s.t. li≤xi≤ui,i=1,...,n.

The above inequality constraint can be swith as the following inequations:
s.t.li−xi≤0,i=1,...,n.xi−ui≤,i=1,...,n.\begin{array}{ll} & s.t. & l_i - x_i \le 0, &i=1,...,n. \\ & & x_i - u_i \le, &i=1,...,n. \end{array}s.t.li−xi≤0,xi−ui≤,i=1,...,n.i=1,...,n.

B. 增加次方：

min⁡x∥Ax−b∥2\min_x \| \mathbf{A} x - b \|_2xmin∥Ax−b∥2 由于xxx在函数内单调递增，故可等价于：min⁡x∥Ax−b∥22\min_x \| \mathbf{A} x - b \|_2^2xmin∥Ax−b∥22

C. 消除约束等式约束：

Theoretically, the reduction of the constraints of equations makes higher efficiency, so we need to eliminate the equation constraints as possible as we can.

An typical example：
Assume that z∈Rk,ζ:Rk→Rnz\in \mathbb{R}^k, \zeta:\mathbb{R}^k \rightarrow\mathbb{R}^nz∈Rk,ζ:Rk→Rn,
min⁡f0(x)s.t.fi(x)≤0,i=1,...,nx=ζ(z)\begin{array}{lll} & \min ~ f_0(x) \\ & s.t. ~~ f_i(x) \le 0, i=1,...,n \\ & \quad ~~~ x = \zeta(z) \end{array}min f0(x)s.t. fi(x)≤0,i=1,...,n x=ζ(z) Then, the above problem can be reformulate as the function of variable zzz，i.e.,
min⁡f0(ζ(z))s.t.fi(ζ(z))≤0,i=1,...,n\begin{array}{ll} & \min ~f_0(\zeta(z)) \\ & s.t. ~~ f_i(\zeta(z)) \le 0, i=1,...,n \end{array}min f0(ζ(z))s.t. fi(ζ(z))≤0,i=1,...,n Finally, x∗x^*x∗ can be obtained from the x∗=ζ(z∗)x^* = \zeta(z^*)x∗=ζ(z∗).

凸优化基础知识—凸集（Convex Sets）相关推荐

凸优化“傻瓜”教程-----凸优化基础知识
目录凸优化基础知识 1.AI问题是什么? 2.对于常见的优化问题,我们可以写成什么形式? 3.针对一般的优化问题,我们从哪几个方向思考? 4.什么样的问题是凸优化问题? 4.1凸优化问题需要同时满足 ...
凸优化基础知识笔记-凸集、凸函数、凸优化问题
文章目录 1. 凸集 2. 凸函数 2.1. 凸函数的一阶条件 2.1. 凸函数例子 3. 凸优化问题 4. 对偶 4.1. Lagrange函数与Lagrange对偶 4.2. 共轭函数 4.3. ...
机器学习——凸优化基础知识
文章目录一.计算几何 (一)计算几何是研究什么的 (二)直线的表达式二.凸集 (一)凸集是什么 (二)三维空间中的一个平面如何表达 (三)更高维度的"超平面"如何表达三.凸函 ...
凸优化基础学习：凸集、凸函数、凸规划理论概念学习
凸优化基础概念学习 1.计算几何是研究什么的? 2.计算几何理论中(或凸集中)过两点的一条直线的表达式,是如何描述的?与初中数学中那些直线方程有什么差异?有什么好处? 3.凸集是什么? 直线是凸集吗? ...
前端性能优化基础知识--幕课网
作为一个前端小码农,在页面样式都能实现以后,就开始考虑:同一个效果,我该用什么样的方式和代码去实现它比较规范?前两天逛幕课网发现了两门课程–<前端性能优化-基础知识认知>和<前端性能 ...
【001】机器学习基础-凸优化基础
为什么开篇第一件事是介绍凸优化呢,原因很简单,就是它很重要! 凸优化属于数学最优化的一个子领域,所以其理论本身也是科研领域一门比较复杂高深的研究方向,常被应用于运筹学.管理科学.运营管理.工业工程.系 ...
凸优化第一【凸集与凸优化简介】
[本文仅供学习记录,概无其他用处,一些图片资源来自网络,侵删] 凸优化是一个简单的优化问题,优化-数学规划概念相同,本课程主要学习的内容包括:凸集.凸函数.凸优化和有关凸优化的一些算法. 优化:从一个 ...
分布式鲁棒优化基础知识学习 | Ref：《鲁棒优化入门》「运筹OR帷幄」
鲁棒:考虑最坏情况: 分布:最坏情况的主体是环境参数的分布变量. 从数学角度说,分布式鲁棒优化囊括随机规划和传统鲁棒优化两种形式. 当分布式鲁棒优化下,环境变量的分布函数获知时,分布鲁棒优化退化为随机 ...
【笔记】Unity优化基础知识
目录 Find 和 FindObjectOfType Camera.main 按 ID 寻址与 UnityEngine.Object 子类进行 Null 比较矢量和四元数数学以及运算顺序使用非分 ...
凸优化学习：PART1凸集
凸优化学习PART1 一.引言:优化问题简介优化问题的定义凸优化是优化的一种,是优化中比较容易的问题.在讲解优化问题前,首先说明什么是优化/数学规划(Optimization/Mathematic ...

凸优化基础知识—凸集（Convex Sets）

Directory