m-arcsinh激活函数

论文链接：m-arcsinh: An Efficient and Reliable Function for SVM and MLP in scikit-learn

年份：2020年

简介

对于一个广义的函数，它既可以作为SVM和MLP的核函数，也可以作为激活函数，它必须能够：

最大化SVM的边际宽度
通过适当扩展MLP范围的传输机制，改善对输入数据到目标类的区分。

满足上述两个要求的函数分别是SVM的线性核函数和MLP的tanh函数。然而，虽然线性核不适合在MLP中适当地利用梯度下降训练在非线性可分离数据的存在，tanh函数有一个扩展的范围，具有sigmoidal行为支持向量机，以可靠地最大化边缘宽度与此类数据。由此设计了一个新的函数，同时适应SVM和MLP，利用双曲正弦函数和平方根函数进行加权，arcsinh的权重为13\frac{1}{3}31，平方根的权重为14\frac{1}{4}41，由此获得：
m−arcsinh(x)=arcsinh(x)×13×14×∣x∣m-arcsinh(x) = arcsinh(x)\times \frac{1}{3} \times \frac{1}{4}\times \sqrt{|x|}m−arcsinh(x)=arcsinh(x)×31×41×∣x∣
该函数的导数为：
m−arcsinh′(x)=∣x∣×112×x2+1+x×arcsinh(x)24×∣x∣32m-arcsinh^\prime(x) = \sqrt{|x|} \times \frac{1}{12\times\sqrt{x^2+1}}+\frac{x\times arcsinh(x)}{24\times |x|^\frac{3}{2}}m−arcsinh′(x)=∣x∣×12×x2+11+24×∣x∣23x×arcsinh(x)

该函数的图像如下图所示：

m-arcsinh激活函数相关推荐

为什么神经网络的激活函数必须使用线性函数？
什么是线性函数? 函数本来是输入某个值后会返回一个值的转换器.向这个转换器输入某个值后,输出值是输入值的常数倍的函数称为线性函数(用数学式表示为h(x) = cx. c为常数).因此,线性函数是一条笔 ...
TensorFlow六种激活函数
TensorFlow六种激活函数每个神经元都必须有激活函数.神经元提供了模拟复杂非线性数据集所必需的非线性特性.该函数取所有输入的加权和,进而生成一个输出信号.把它看作输入和输出之间的转换.使用适当 ...
机器学习入门（12）— 激活函数层 ReLU、Sigmoid 层的实现
1. ReLU 函数层激活函数 ReLU(Rectified Linear Unit)由下式(5.7)表示. 通过式(5.7),可以求出 y 关于 x 的导数,如式(5.8)所示. 在式(5.8)中 ...
机器学习入门（02）— 由感知机到神经网络的过渡进化，激活函数在神经网络中的作用
1. 神经网络示例用图来表示神经网络的话,如图3-1 所示.我们把最左边的一列称为输入层,最右边的一列称为输出层,中间的一列称为中间层.中间层有时也称为隐藏层."隐藏"一词的意思 ...
神经网络常用激活函数
激活函数:只是一个抽象概念,使用激活函数时为了让中间输出多样化,能够处理更复杂的问题. 激活函数给神经元引入了非线性因素,若无激活函数,则每一层最后输出的都是上一层输入的线性函数,不管加多少层神经网络 ...
深度学习--TensorFlow（4）BP神经网络（损失函数、梯度下降、常用激活函数、梯度消失梯度爆炸）
目录一.概念与定义二.损失函数/代价函数(loss) 三.梯度下降法二维w与loss: 三维w与loss: 四.常用激活函数 1.softmax激活函数 2.sigmoid激活函数 3.tanh ...
深度学习（4）基础4 -- 神经网络架构激活函数过拟合处理
目录一.神经网络架构 1.结构与意义 2.过程 1.输入数据,得到输入层 2.得到隐藏层1 3.得到隐藏层2 4.得到输出层二.激活函数激活函数概念激活函数的选择 1.阶跃函数 2.Sigmo ...
【深度学习理论】(3) 激活函数
各位同学好,最近学习了CS231N斯坦福计算机视觉公开课,讲的太精彩了,和大家分享一下. 激活函数的作用是把神经元的输入线性求和后,放入非线性的激活函数中激活,正因为有非线性的激活函数,神经网络才能拟 ...
【深度学习】(3) 全连接层、激活函数
各位同学好,今天和大家分享一下tensorflow2.0深度学习中的相关操作.内容有: (1) 全连接层创建: tf.keras.Sequential(),tf.keras.layers.Dense( ...

m-arcsinh激活函数

m-arcsinh激活函数

简介

m-arcsinh激活函数相关推荐

最新文章

热门文章