神经网络是什么？如何直观理解它的能力极限？它是如何无限逼近真理？

神经网络的基本单元就是一个一个的感知机，感知机有两部分组成：线性部分和激活函数部分。一个感知机的能力是有限的，他只能将数据进行二分，而且这些数据还必须是线性可分的。

普遍逼近定理： 只要神经网络有一个隐藏层，它就可以任意逼近一个连续函数。这就让我想到了傅里叶级数，傅里叶级数其实就是把一个复杂的函数拆解成一个一个的圆周运动或者叫正弦波。神经网络也一样，他也是把一个复杂函数拆解成一个一个感知机。说到底就是一个线性函数+一个激活函数的形式。都是化复杂为简单。

傅里叶级数和神经网络很像，傅里叶级数用正弦函数去逼近任何一个波形，而神经网络是用感知机去逼近任何一个统计模型。为什么是统计模型呢？其实也好理解，那么多猫它们都是“猫神”模型的具象化，“猫神”模型再理念世界中它是可以没有误差的。但是只要一投射到现实世界里面，在现实世界它就有误差。所谓的分类，他其实就是在规定一个误差范围，在这个范围之内的它是猫，超过了就不是猫。猫具象化的误差肯定不是正态分布，如果是正态分布的话不会写不出来。那他的分布函数应该怎么写？参数是什么呢？这个时候就要用到神经网络，神经网络可以逼近任何一种统计模型。类似的，机器学习为什么又叫做统计学习。

思考： 神经网络会不会是新时代的“地心说”，为什么这么说呢？我们知道日心说是比地心说更好的，但这并不是说日心说比地心说更准确，而是它更简单。托勒密的地心说其实就是本轮+均轮，只要轮子够多它是可以逼近任何一条曲线的。因为它本质上就是一个傅里叶分解。当年哥白尼提出了日心说，大家普遍不接受，并不是不愿意相信太阳是中心，而是它预测的真的不准。后来，还是开普勒改变了基本范式，他把原来以圆为基础的范式，改成以椭圆为基础。结果呢，有简单有准确。

所以问神经网络会不会是新时代的“地心说”，其实就是想说未来会不会有一个像开普勒一样的人，他提出了一个新的范式。结果，原来我们要靠神经网络蛮力解决的一些问题，可以被它优雅简单地就给解决掉。

如何通俗易懂地解释遗传算法？有什么例子？ - 知乎 (zhihu.com)

约翰·霍兰德：全宇宙第一个计算机博士，他做了一个基于元胞自动机和遗传算法做出来的，霍兰德也是遗传算法之父。

霍兰德想找出一个策略：就是让小机器人能吃最多的豆子，但是移动最少的动作。霍兰德找到了这样的最优策略，只不过这个最优策略是用遗传算法找到的。他一开始设计几条普普通通的策略，当然这个策略最后的得分肯定是惨不忍睹，霍兰德把其中最好的挑出来，然后让他们相互之间杂交、编译、遗传。最后经过很多代之后，最有策略就出现了。这个研究的结论很有意思：那个最优策略它无法被归约，就说这个策略没有办法用简单的、统一的方式给表示出来。其中机器人该如何做，只能按照特事特例的方式呈现出来，做一个集合做一个大表。

为什么这个策略没有办法被统一表示？而真是世界里的物理规律可以被统一表示呢？归根到底，这个策略是进化的产物，进化也就是演化。他是要优胜劣汰的，中间的每一个结果都要进行生存还是毁灭的价值判断。而物理规律呢？它是在发展但是不是在演化。他只是把底层规律进行了组合，并没有谁去判断这个规律的组合到底是好还是坏，没有这样的价值判断。

前面一直在强调激活函数的重要性，说他提供了价值观。如果没有激活函数，只有线性函数会怎样？线性函数不论嵌套多少层，都是一个简单的线性函数，都能被统一表示。但是一旦有了激活函数，事情就不一样了。有了激活函数之后，就有了价值判断。它描述的事情，就没有办法再被简单的表示了。

所以神经网络会是新时代的“地心说”吗？我觉得不会，面对我们人类进化而来的智能，也许神经网络这种无限逼近真相的这个范式已经是最好的范式了。当然，这部分只是我开脑洞。

神经网络是什么？如何直观理解它的能力极限？它是如何无限逼近真理？相关推荐

RNN循环神经网络的直观理解：基于TensorFlow的简单RNN例子
RNN 直观理解一个非常棒的RNN入门Anyone Can learn To Code LSTM-RNN in Python(Part 1: RNN) 基于此文章,本文给出我自己的一些愚见基于此文 ...
直观理解神经网络和感知机
大家都知道神经网络的基本单元是感知机. 那么感知机为什么能够组合成神经网络呢?感知机和神经网络又是如何工作的呢? 这就得先来谈谈感知机是什么. 感知机如图这种形式就叫感知机,它是由两部分组成,一部分 ...
BP反向传播算法的思考和直观理解 -卷积小白的随机世界
https://www.toutiao.com/a6690831921246634504/ 2019-05-14 18:47:24 本篇文章,本来计划再进一步完善对CNN卷积神经网络的理解,但在对卷积 ...
3.7 注意力模型直观理解-深度学习第五课《序列模型》-Stanford吴恩达教授
注意力模型直观理解 (Attention Model Intuition) 在本周大部分时间中,你都在使用这个编码解码的构架(a Encoder-Decoder architecture)来完成机器翻 ...
3.10 直观理解反向传播-深度学习-Stanford吴恩达教授
←上一篇 ↓↑ 下一篇→ 3.9 神经网络的梯度下降法回到目录 3.11 随机初始化直观理解反向传播 (Backpropagation Intuition (Optional)) 这个视频主要是推 ...
深度学习与计算机视觉（四）反向传播及其直观理解
四.反向传播及其直观理解 4.1 引言问题描述和动机: 大家都知道,其实我们就是在给定的图像像素向量x和对应的函数f(x)f(x)f(x),然后我们希望能够计算fff在x上的梯度∇f(x)" ...
梯度的直观理解_BP反向传播算法的思考和直观理解 -卷积小白的随机世界
本篇文章,本来计划再进一步完善对CNN卷积神经网络的理解,但在对卷积层反向传播算法的理解中,越发觉得之前对于BP反向传播算法的理解是不到位的.小白近日觉得,对于深度神经网络,"反向传播&qu ...
“感受野”的直观理解
感受野定义公式定义衡量某一层的特征图中某个像素点对应到原始输入的响应的大小区域: (另外一种定义) 卷积神经网络每一层的输出特征图上的像素点在原始图像上映射的区域大小 [直观理解]就是当前的每 ...
“损失函数”是如何设计出来的？直观理解“最小二乘法”和“极大似然估计法”
[本文内容是自对视频:"损失函数"是如何设计出来的?的整理.补充和修正] 在大多数课程,尤其是帮助大家快速掌握深度学习的课程,损失函数似乎并不是一个需要额外关心的问题.因为它往往都 ...

神经网络是什么？如何直观理解它的能力极限？它是如何无限逼近真理？

神经网络是什么？如何直观理解它的能力极限？它是如何无限逼近真理？相关推荐

最新文章

热门文章