人工智能数学基础——核函数和激活函数

2024-06-05 20:59:48

1.核函数的目的

如果我的数据有足够多的可利用的信息，我就能够充分学习这些数据去拟合特定事务的特征了，但是现在如果没有那么多的信息，我们可不可以在数学上进行一些投机呢？比如，我们将数据从低维变换到高维。如下图所示，如果在二维情况下，我们很难通过建模做出分类，因为需要建立一个环去分离数据，但是通过三维变换，我们就能很轻松的用一个平面做出分类。

2.线性核函数

Linear核函数对数据不做任何变换。

特征已经比较丰富了，样本数据量巨大，需要进行实时得出结果的问题。不需要设置任何参数，直接就可以用了。

3.多项式核函数

需要给定3个参数

一般情况下2次的更常见

γ(gama)对内积进行放缩，ζ(zeta)控制常数项，Q控制高次项。其特例就是线性核函数

4.核函数实例

对于核函数，我们真的是先将每个实例映射到高维在做内积吗？很明显，当特征数比较多的时候，运算量十分庞大。我们发现，先做内积在做核函数变换与先做核函数变换再做内积，其结果是一致的，对于运算量，很明显，对一个数做核函数变换的运算量远远小于分别对向量做核函数变换。

5.高斯核函数

一维度的高斯

二维的高斯

高斯核函数

如果X和Y很相似，那结果也就是1，如果很不相似那就是0。

高斯核函数能给我做出多少维特征呢？我们对高斯和函数进行泰勒展开，化简后发现我们可以得到无穷维的特征。

参数的影响：

但是它对参数是极其敏感的，效果差异也是很大的, $\sigma$ 越小，差异越显著

决策边界会怎么样呢？（σ越小，切分的越厉害，越容易过拟合）

6.熵

熵表示物体内部的混乱程度。（一件事发生的不确定性）

所有的概率值都是0-1之间，那么最终的H(X)必然也是一个正数

熵值的意义：

熵值高，选择的概率低，不确定性很高，类似于杂货铺

熵值低，选择的概率高，不确定性低，类似于苹果专卖店。

熵值越低，分类效果越好。

7.sigmoid函数

非线性：让模型表现能力更强

单调性，可微性，输出值范围是有限的

常见的激活函数：Sigmoid Tanh Relu 等

Sigmoid函数

Sigmoid 是常用的非线性的激活函数

能够把连续值压缩到0-1区间上

缺点：杀死梯度，非原点中心对称

输出值全为整数会导致梯度全为正或者全为负

优化更新会产生阶梯式情况

Tanh函数

原点中心对称、输出在-1到1之间、梯度消失现象依然存在

Relu函数

公式简单实用、解决了梯度消失现象，计算速度更快

人工智能数学基础——核函数和激活函数相关推荐

视频教程-人工智能-数学基础视频课程-机器学习
人工智能-数学基础视频课程计算机博士,专注于机器学习与计算机视觉领域,深度学习领域一线实战讲师.在图像识别领域有着丰富经验,实现过包括人脸识别,物体识别,关键点检测等多种应用的新算法. 参与多个国家 ...
人工智能数学基础----导数
人工智能数学基础系列文章 1. 人工智能数学基础----导数 2. 人工智能数学基础----矩阵 3. 人工智能数学基础----线性二阶近似人工智能的学习对于数学要求还是需要一定的功底的,不管是算法 ...
余弦函数导数推导过程_人工智能数学基础----导数
人工智能数学基础----导数人工智能数学基础系列文章 1. 人工智能数学基础----导数 2. 人工智能数学基础----矩阵 3. 人工智能数学基础----线性二阶近似人工智能的学习对于数学要求还 ...
人工智能数学基础--概率与统计7：学习中一些术语的称呼或表示变化说明以及独立事件的一些补充推论
一.概念表示变化说明笔者最开始学习概率论时,是以美版M.R.斯皮格尔等著作的<概率与统计>作为教材学习,学习过程中发现部分内容理解困难,之所以这样,一是这本书的内容太古老,教材是2002 ...
人工智能数学基础10：域、函数及相关概念
☞ ░ 老猿Python博文目录░ 一.运算封闭若从某个非空数集中任选两个元素(同一元素可重复选出),选出的这两个元素通过某种(或几种)运算后的得数仍是该数集中的元素,那么,就说该集合对于这种(或几 ...
人工智能数学基础---定积分5：使用分部积分法计算定积分
一.引言在<人工智能数学基础-不定积分3:分部积分法>介绍了用分部积分法求不定积分的方法及案例,在<人工智能数学基础-定积分3:微积分基本公式(牛顿-莱布尼茨公式)>介绍了可 ...
人工智能数学基础---不定积分3：分部积分法
一.引言在<人工智能数学基础–不定积分2:利用换元法求不定积分>介绍了三种换元法求不定积分的方法及案例,换元积分法是基于复合函数求导的基础上推导出来的.而求导数时,除了复合函数求导外,还 ...
人工智能数学基础---定积分4：使用换元法计算定积分
一.引言在<人工智能数学基础–不定积分2:利用换元法求不定积分>介绍了三种换元法求不定积分的方法及案例,在<人工智能数学基础-定积分3:微积分基本公式(牛顿-莱布尼茨公式)> ...
人工智能数学基础--不定积分2：利用换元法求不定积分
一.引言在<人工智能数学基础–不定积分1:概念与性质>介绍了必须熟记的十三个基本积分公式及十一个扩展公式,利用这些公式以及不定积分的加法以及数乘性质,可以进行部分积分的计算,但非常有限, ...

最新文章

热门文章