BP神经网络基本介绍

1。BP网络的激活函数必须是处处可微的。logsin(0~1);tansig(-1~1);purelin(负无穷到正无穷，一般用作输出层)
2。S型激活函数所划分的区域是一个非线性的超平面组成的区域，它是比较柔和、光滑的任意界面，因而它的分类比线性划分精确、合理，这种网络的容错性较好。另一个重要特点是由于激活函数是连续可微的，它可以严格利用梯度法进行推算。
3。一般情况下BP网络结构均是在隐含层采用S型激活函数，而输出层采用线性激活函数。
4。动手编写网络的程序设计之前，需要确定神经网络的结构，其中包括以下内容：网络的层数、每层的神经元数、每层的激活函数。
5。trainbp.m提供了两层和三层的BP训练程序，用户可以根据程序来选取不同的参数。
6。神经网络具有泛化性能，但是该性能只能对被训练的输入/输出对在最大值范围内的数据有效，即网络具有内插植特性，不具有外插植特性，超出最大训练的输入必将产生大的输出误差。
7。理论上已经证明：具有偏差和至少一个S型隐含层加上一个线性输出层的网络，能够逼近任何有理函数。
8。隐含层层数的经验选择：对于线性问题一般可以采用感知器或自适应网络来解决，而不采用非线性网络，因为单层不能发挥出非线性激活函数的特长；非线性问题，一般采用两层或两层以上的隐含层，但是误差精度的提高实际上也可以通过增加隐含层中的神经元数目获得，其训练效果也比增加层数更容易观察和调整，所以一般情况下，应优先考虑增加隐含层中的神经元数。
9。隐含层的神经元数的经验确定：通过对不同神经元数进行训练对比，然后适当的增加一点余量。
10。初始权值的经验选取：威得罗等人分析了两层网络是如何对一个函数进行训练后。提出一种选定初值的策略：选择权值的量级为S1的r次方，其中S1为第一层神经元数目。利用他们的方法可以在较少的训练次数下得到满意的训练结果。在Matlab 工具箱中可以采用nwlog.m和nwtan.m来初始化隐含层权值W1和B1。其方法仅需要使用在第一层隐含层的初始值的选取上，后面层的初始值仍然采用(-1,1)之间的随机数。
11。学习速率的经验选择：一般情况下倾向于选取较小的学习速率以保证系统的稳定性，学习速率的选取范围在0.01~0.8之间。
12。期望误差的选取：一般情况下，作为对比，可以同时对两个不同的期望误差值的网络进行训练，最后通过综合因素的考虑来确定其中一个网络。
13。采用附加动量法使反向传播减少了网络在误差表面陷入低谷的可能性有助于减少训练时间。Matlab工具箱中提供的trainbpm.m可以训练一层直至三层的带有附加动量因子的反向传播网络。
14。太大的学习速率导致学习的不稳定，太小值又导致极长的训练时间。自适应学习速率通过保证稳定训练的前提下，达到了合理的高速率，可以减少训练时间。Matlab工具箱中带有自适应学习速率进行反向传播训练的函数为trainbpa.m，它可以训练至三层网络。
15。可以将动量法和自适应学习速率结合起来利用两方面的优点，这个技术已经编入函数trainbpx.m中

BP神经网络基本介绍相关推荐

机器学习——BP神经网络详细介绍及案例Python代码实现
哒哒!来咯!来喽! BP(Back Propagation)称误差反向传播,1985年由Rumelhart 和 McCelland提出.神经元函数如图: (一).举个通俗易懂的例子:假如,我说的是假如 ...
ML笔记 - BP神经网络算法介绍
人工神经网络的结构特点 BP神经网络的概念和特点 BP神经网络的思想 BP神经网络的步骤 BP神经网络设计结构设计神经元数激活函数参数设计 BP神经网络常用训练函数防止过拟合 Tensorf ...
BP神经网络原理简单介绍以及公式推导（矩阵形式和分量形式）
BP神经网络原理简单介绍以及公式推导标签(空格分隔): 神经网络 \def\net(#1){net^{(#1)}} \def\Y(#1){Y^{(#1)}} \def\part(#1){\parti ...
基于BP神经网络算法的性别识别
目录基于 BP 神经网络算法的性别识别 1 目录 1 1.背景介绍 2 2. OpenCV 的介绍 3 3.安装 OpenCV 4 4. BP 神经网络算法介绍和实践 4 4.1 BP 神经网络结构 ...
BP神经网络原理与异或实例分析
文章目录 BP神经网络原理介绍一.BP神经网络算法原理是什么? 二.激活函数 1.激活函数作用三.BP神经网络异或实例分析 1.问题: 2.分析: 3.代码总结 BP神经网络原理介绍 BP神经网 ...
bp神经网络的应用场景,bp神经网络的应用领域
BP网的功能及导高预测适用性采用BP算法的前馈神经网是神经网络在各个领域中应用最广泛的一种,已经成功解决了大量实际问题.BP网的广泛应用,归因于其主要能力:具有非线性映射能力.泛化能力与容错能力. ...
神经网络除了bp还有什么,BP神经网络能够做什么
BP神经网络是用来干嘛的阿? 用样本去训练一个BP网络,然后用新的样本作为输入,再通过这个已经训练好的BP网络,得到的数据就是仿真的结果,这就是BP网络仿真. 我们训练一个BP网络就好像是在训练一个神 ...
bp神经网络有哪些模型,bp神经网络有哪些应用
bp神经网络 BP(BackPropagation)网络是1986年由Rumelhart和McCelland为首的科学家小组提出,是一种按误差逆传播算法训练的多层前馈网络,是目前应用最广泛的神经网络模 ...
计算机网络安全评估的过程,基于BP 神经网络的计算机网络安全评估
摘要:随着我国经济的快步提升,各个行业都以前所未有的速度高速发展,当然也包括计算机行业.与此同时,计算机网络的安全问题也日益严峻,计算机网络安全评估也成为了网络研究中重要的课题之一.为了是的对计算机网 ...

BP神经网络基本介绍

BP神经网络基本介绍相关推荐

最新文章

热门文章