【机器学习概念笔记】：空间概念

学习SVM时，对于前面的知识点有所遗忘，这里做个笔记。

(1)输入空间

(2)输出空间

(3)特征空间

(4)假设空间

(5)欧式空间

(6)希尔伯特空间

(1)输入空间

输入所以可能取值的集合。

(2)输出空间

输出所以可能取值的集合。

输入与输出空间可以是有限元素的集合，也可以是整个欧式空间，它们可以是同一个空间，也可以是不同的空间，通常，输出空间远远小于输入空间。

(3)特征空间

特征空间的每一维对应于一个特征。有时假设输入空间与特征空间为相同的空间，对它们不予区分；有时假设输入空间与特征空间为不同的空间，将实例从输入空间映射到特征空间。

输入实例x的特征向量记为：

x(i)为x的第i个特征，x(i)与xi不同，常用xi表示多个输入变量中第i个变量

(4)假设空间

监督学习的目的就在于学习一个由输入到输出的映射，这一映射由模型来表示。这样看来，学习的目的在于找到最好的这样的模型，模型就是由输入空间到输出空间的映射的集合，这个集合就是假设空间。

(5)欧式空间

设V是实数域R上的线性空间（或称为向量空间），若V上定义着正定对称双线性型g（g称为内积），则V称为（对于g的）内积空间或欧几里德空间（有时仅当V是有限维时，才称为欧几里德空间）。具体来说，g是V上的二元实值函数，满足如下关系：
（1）对称性：g(x,y)=g(y,x)；
（2）加性：g(x+y,z)=g(x,z)+g(y,z)；
（3）齐次性：g(kx,y)=kg(x,y)；
（4）非负性：g(x,x)>=0，而且g(x,x)=0当且仅当x=0时成立。
这里x,y,z是V中任意向量，k是任意实数。

(6)希尔伯特空间

希尔伯特空间是欧几里得空间的直接推广。对希尔伯特空间及作用在希尔伯特空间上的算子的研究是泛函函数的重要组成部分。

设H是一个实的线性空间，如果对H中的任何两个向量x和y，都对应着一个实数，记为(x，y)、满足下列条件：

①对H中的任何两个向量x，y，有(x，y)=(y，x);

②对H中的任何三个向量x、y、z及实数α、β，有(αx+βy，z)=α(x，z)+β(y，z);

③对H中的一切向量x，均有(x，x)≥0，且(x，x)=0的充分必要条件是x=0。则(x，y)称为是H上的一个内积，而H称为内积空间。

如果定义

，则在‖0‖下，H构成一个线性赋范空间。

完备的内积空间称为希尔伯特空间，希尔伯特空间的概念还可以推广到复线性空间上。