径向基函数神经网络简述

径向基函数神经网络是不同于BP神经网络的另一种的前馈神经网络，由输入层、一层非线性隐层（径向基层）和线性输出层组成的。

关于径向基函数神经网络，首先要介绍一个定理，cover定理，对于一个复杂的在低维空间表现为非线性可分的模型分类问题，当我们从该低维空间由某种非线性变换而得到的高维空间来看待时，原来的问题就可能转化为一个简单的线性可分的模式分类问题。再看回径向基函数神经网络的结构，它只有一层隐层，而且隐层的神经元数量是多于输入层的，所以就可以看成经过隐层的处理后，原来的输入特征由n维变成了更高的n+k维。这就是径向基函数神经网络的核心思想。

接下来我们首先从BP神经网络和径向基函数神经网络的区别入手，分析径向基神经网络的一些优点。

首先，BP神经网络的隐节点（隐层神经元）采用输入变量与权向量的内积作为激活函数的自变量，激活函数采用sigmoid函数，我们知道，在训练过程中，BP算法会根据样本数据不断反向调整参数（权向量），使得最后得到的模型能够尽可能拟合所有数据（或者说模型损失函数尽可能小），也就是说，所有数据对于模型参数的调整都有同等重要的地位，这种现象就称为全局逼近。

而RBF神经网络则是采用输入变量与基函数中心的距离（如欧氏距离）作为激活函数的自变量，同时激活函数采用径向基函数，采用输入变量与中心的距离作为激活函数的自变量和核回归的思想是相似的，也就是说，远离各个中心的数据，对于模型参数调整的影响是较小的，真正起主要作用的是靠近中心变量的样本数据，所以这就属于局部逼近。

针对BP神经网络和RBF神经网络的区别，就可以推导出，RBF神经网络比起BP神经网络的优点主要在于计算速度，因为RBF只有一层隐层，BP可能有多层隐层，同时BP是全局逼近而RBF是局部逼近，这些都会影响计算速度。

明确了RBF神经网络的优点后，再来具体介绍RBF神经网络的过程。BP神经网络要求解的只有权向量，而RBF神经网络需要求解的参数有基函数的中心、方差以及隐层到输出层的权值。首先关于中心，其实和样条回归的节点、loess的拟合点是一个东西，通过一组中心将原来的样本数据集划分到不同区间，再局部进行拟合，所以中心变量的数量和位置对于最后拟合得到的函数的精度和形状影响很大。所以REF神经网络可以分为两个过程，第一个是确定基函数的中心和方差，然后才是确定权值。

关于基函数的中心选取方法有很多，第一种是直接计算法，其实就是随机选取中心；第二种是自组织学习选取中心，主要采用K-均值聚类法来选择中心；第三种是通过梯度下降法这类有监督学习方法来选取中心，除此之外还有很多不同的方法，但目前为止也没有通用的较好的策略去决定中心，或多或少会存在计算量大、收敛速度较慢等问题，所以目前针对这些问题，也有提出了一种更复杂的基于合作性协同进化的RBF学习算法，去分析出最优的隐层神经元数量以及基函数中心、方差。

确定了基函数的中心和方差之后，我们就能进一步得到模型的输出表达式（以高斯函数作为径向基函数为例）：

R(xp−xi)=exp(1−2δ2∣∣xp−xi∣∣2)R(x_p - x_i) = exp(\frac{1}{-2\delta ^2} ||x_p - x_i ||^2)R(xp−xi)=exp(−2δ21∣∣xp−xi∣∣2)

yi=∑i=1hωijexp(1−2δ2∣∣xp−xi∣∣2)y_i = \sum_{i=1}^h \omega_{ij} exp(\frac{1}{-2\delta ^2} ||x_p - x_i ||^2)yi=i=1∑hωijexp(−2δ21∣∣xp−xi∣∣2)

最后，根据实际的情况（回归还是分类问题），选择适当的损失函数，按照常规的方法去求解最优权值。

总的来说，RBF神经网络可以看成是一种基于局部逼近思想而改进的神经网络，理论上和BP神经网络相比计算效率更高，可是另一方面，我认为BP神经网络的各个步骤是十分明确的，可以一步步推导的，而RBF神经网络在确定径向基函数相关参数时，根据不同的样本数据分布或许会有更好的计算方法，很难确定一种通用的最优的求解方法，这种不确定性就变成了RBF神经网络的一大局限。

想浏览更多关于数学、机器学习、深度学习的内容，可浏览本人博客

径向基函数神经网络简述相关推荐

人工神经网络：径向基函数神经网络
提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档文章目录前言一.今日所学前言多层感知器是一类全局逼近的神经网络,网络的每个权重对任何一个输出都会产生同等程度的影响.因而对于每 ...
神经网络学习笔记（一) RBF径向基函数神经网络
神经网络学习笔记(一) RBF径向基函数神经网络 2018年08月06日 13:34:26 吃机智豆长大的少女乙阅读数:2735 RBF径向基函数神经网络初学神经网络,以下为综合其他博主学习材料及 ...
径向基函数神经网络（RBFNN）
RBF 就是计算两个点之间的相似度. 真正把特征从低维空间映射到高维空间的是你选择的隐层的节点数,隐层的节点数就是高维空间的维数. 如下实现了输入层到隐层之间文随机权重的径向基函数神经网络(RBFNN ...
神经网络学习笔记（五）径向基函数神经网络
径向基函数神经网络首先介绍一下网络结构: 1.输入层为向量,维度为m,样本个数为n,线性函数为传输函数. 2.隐藏层与输入层全连接,层内无连接,隐藏层神经元个数与样本个数相等,也就是n,传输函数为径 ...
matlab十字路口车流量仿真,基于高斯径向基函数神经网络的十字路口车流量预测...
2006年3月摘要: 采用径向基函数预测功能的神经网络,对十字路口的车流量进行实时预测,仿真实验结果表明使用该神经网络对交叉口车流量进行预测可以得到令人满意的结果.关键词:神经网络:径向基函数:十字 ...
径向基函数神经网络（RBFNN）详解
径向基函数神经网络RBFNN 前言 1.基础知识 1.1 径向基函数(RBF) 1.2 非线性问题 1.3 高级的径向基函数 1.4 RBFNN的结构 2.RBFNN的原理 2.1基本原理 2.2径向 ...
径向基函数神经网络_基于RBF神经网络的网络安全态势感知预测研究
点击上方"网络空间安全学术期刊"关注我们基于RBF神经网络的网络安全态势感知预测研究钱建, 李思宇摘要针对网络安全态势的感知问题,结合巨龙山和者磨山风电场的运行情况,文章 ...
径向基函数神经网络_神经网络
本文主要参考周志华老师的<机器学习>和Tom M. Mitchell老师的<机器学习>. 神经网络是一种模拟人脑的神经网络以期能够实现类人工智能的机器学习技术. 一.神经网络的 ...
径向基函数神经网络RBFNN
概述径向基函数(Radial Basis Function)神经网络是具有唯一最佳逼近(克服局部极小值问题).训练简洁.学习收敛速度快等良好性能的前馈型神经网络,目前已证明RBFNN能够以任意精度逼 ...

径向基函数神经网络简述

径向基函数神经网络简述相关推荐

最新文章

热门文章