前馈神经网络（一神经元）

声明：

本文是博主在学习前馈神经网络时的笔记，仅供学术交流、非商用。内容可能涉及一些大佬的资料（包含网上电子的和实体书籍等），由于学习工程中查阅的资料多而杂，所以每一部分具体的参考资料并没有详细对应，如有侵权，还望海涵，并联系博主删除。
本人才疏学浅，笔记中难免存在不当和错误之处，还望各位读者海涵和指教，不胜感激。

一、神经元

神经网络（neural networks)是具有适应性的简单单元组成的广泛并行互联的网络，她的组织能够模拟生物神经网络系统对真实世界物体所做出的反应。

神经网络中最基本的成分是神经元（neuron），即上述定义中的“简单单元”。

1.1 MP神经元模型

MP神经元模型是一种非常简单典型的神经元模型，其结构示例如下：

在这个模型中，神经元接受来自n个其他神经元传递过来的输入信号，这些输入信号通过带权重的连接（connection）进行传递，神经元接收到的总输入值将与神经元的阈值进行比较（超过阈值就会被激活，即兴奋起来），然后通过激活函数（activation function）处理以产生神经元的输出。

1.2 激活函数

激活函数在神经元中非常重要。为了增强网络的表示能力和学习能力，激活函数需要具备以下几点性质：

(1) 连续并可导（允许少量点上不可导）的非线性函数。

(2) 激活函数及其导函数要尽可能的简单，有利于提高网络计算效率。

(3) 激活函数的导函数的值域要在一个合适的区间，不能太大也不能太小，否则会影响训练的效率和稳定性。

常见的激活函数有sigmoid、tanh、relu等等，下面给想深入了解的小伙伴儿一些学习链接：

神经网络学习小记录57——各类激活函数Activation Functions介绍与优缺点分析_Bubbliiiing的学习小课堂-CSDN博客神经网络学习小记录57——各类激活函数Activation Functions介绍与优缺点分析学习前言什么是激活函数常用的激活函数1、Sigmoid2、Tanh3、ReLU先进的激活函数1、LeakyReLU2、PReLU3、ReLU64、Swish5、Mish5、Swish和Mish的梯度对比。绘制代码学习前言激活函数在神经网络当中的作用是赋予神经网络更多的非线性因素。如果不用激活函数，网络的输出是输入的线性组合，这种情况与最原始的感知机相当，网络的逼近能力相当有限。如果能够引入恰当的非线性函数作为激https://blog.csdn.net/weixin_44791964/article/details/117338865?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522163857844916780366571308%2522%252C%2522scm%2522%253A%252220140713.130102334..%2522%257D&request_id=163857844916780366571308&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~all~top_positive~default-2-117338865.first_rank_v2_pc_rank_v29&utm_term=%E6%BF%80%E6%B4%BB%E5%87%BD%E6%95%B0&spm=1018.2226.3001.4187常用激活函数（激励函数）理解与总结_tyhj_sf的博客空间-CSDN博客_激活函数引言学习神经网络的时候我们总是听到激活函数这个词，而且很多资料都会提到常用的激活函数，比如Sigmoid函数、tanh函数、Relu函数。那么我们就来详细了解下激活函数方方面面的知识。本文的内容包括几个部分：什么是激活函数？激活函数的用途（为什么需要激活函数）？有哪些激活函数，都有什么性质和特点？应用中如何选择合适的激活函数？如果你对以上几个问题不是很清楚，下面的内容对你是有...https://blog.csdn.net/tyhj_sf/article/details/79932893?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522163857844916780366571308%2522%252C%2522scm%2522%253A%252220140713.130102334..%2522%257D&request_id=163857844916780366571308&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~all~top_positive~default-1-79932893.first_rank_v2_pc_rank_v29&utm_term=%E6%BF%80%E6%B4%BB%E5%87%BD%E6%95%B0&spm=1018.2226.3001.4187 注意：没有哪个激活函数是完美无缺的，需要根据具体的任务选择合适的激活函数，具体问题具体分析。