作者：Bipolar Bear
链接：https://www.zhihu.com/question/26017374/answer/127924427
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

以我的理解，两种网络被设计出来，所要解决的问题和目的不同。

多层神经网络与universal approximation theorem [1] （泛逼近性原理，不知这样翻译可对？）相伴而生。该理论指出，单隐藏层（hidden layer）非线性前馈神经网络，可以在实数空间近似任何连续函数。上世纪80 90年代，Backpropagation 刚刚开始大行其道，利用这一算法，只需知道输入和输出便可训练网络参数，从而得到一个神经网络“黑箱”。之所以称为黑箱，是因为无需知道y=f(x) 中f的表达式是什么，也能轻易做函数计算，因为f（objective function）就是网络本身。多层神经网络的座右铭是：“函数是什么我不管，反正我能算！“。

当然多层神经网络并非天下无敌，它有三个主要限制：

一是在面对大数据时，需要人为提取原始数据的特征作为输入，这个问题前面的知友提到过@杨延生。必须忽略不相关的变量，同时保留有用的信息。这个尺度很难掌握，多层神经网络会把蹲在屋顶的Kitty和骑在猫奴头上的Kitty识别为不同的猫咪，又会把二哈和狼归类为同一种动物。前者是对不相关变量过于敏感，后者则因无法提取有实际意义的特征。

二是想要更精确的近似复杂的函数，必须增加隐藏层的层数，这就产生了梯度扩散问题@青青子衿。所谓“强弩之末势不能穿鲁缟“。

三是无法处理时间序列数据（比如音频），因为多层神经网络不含时间参数。

随着人工智能需求的提升，我们想要做复杂的图像识别，做自然语言处理，做语义分析翻译，等等。多层神经网络显然力不从心。那么深度模型是如何解决以上三个问题的。

第一，深度学习自动选择原始数据的特征。举一个图像的例子，将像素值矩阵输入深度网络（这里指常用于图像识别的卷积神经网络CNN），网络第一层表征物体的位置、边缘、亮度等初级视觉信息。第二层将边缘整合表征物体的轮廓……之后的层会表征更加抽象的信息，如猫或狗这样的抽象概念。所有特征完全在网络中自动呈现，并非出自人工设计。更重要的一点是这种随着层的深入，从具象到抽象的层级式表征跟大脑的工作原理吻合，视网膜接收图像从LGN到视皮层、颞叶皮层再到海马走的是同样的路数[2]！

第二，深度网络的学习算法。一种方法是改变网络的组织结构，比如用卷积神经网络代替全连接（full connectivity）网络，训练算法仍依据Backpropagating gradients的基本原理。另一种则是彻底改变训练算法，我尝试过的算法有Hessian-free optimization[3]，recursive least-squares(RLS) 等。

第三，使用带反馈和时间参数的Recurrent neural network 处理时间序列数据。从某种意义上讲，Recurrent neural network可以在时间维度上展开成深度网络，可以有效处理音频信息（语音识别和自然语言处理等），或者用来模拟动力系统。

深度学习是一种学习方式，指的是采用深度模型进行学习，不是模型。多层神经网络是一种模型。

问题转成深度模型和多层神经网络的区别。多层神经网络只要够深就能称为深度模型。但是深度模型不止只有够深的多层神经网络一种，还有 DBM、DBN 等图模型，也有一些带反馈的神经网络如 RNN 什么的。

深度学习与多层神经网络的区别相关推荐

  1. 深度学习之循环神经网络（9）LSTM层使用方法

    深度学习之循环神经网络(9)LSTM层使用方法 1. LSTMCell 2. LSTM层  在TensorFlow中,同样有两种方式实现LSTM网络.既可以使用LSTMCell来手动完成时间戳上面的循 ...

  2. 深度学习之循环神经网络（4）RNN层使用方法

    深度学习之循环神经网络(4)RNN层使用方法 1. SimpleRNNCell 2. 多层SimpleRNNCell网络 3. SimpleRNN层  在介绍完循环神经网络的算法原理之后,我们来学习如 ...

  3. 浅谈深度学习的基础——神经网络算法(科普)

    浅谈深度学习的基础--神经网络算法(科普) 神经网络算法是一门重要的机器学习技术.它是目前最为火热的研究方向--深度学习的基础.学习神经网络不仅可以让你掌握一门强大的机器学习方法,同时也可以更好地帮助 ...

  4. 什么是机器学习、深度学习、图神经网络？

    人工智能是追求目标,机器学习是实现手段,深度学习是其中一种方法. 1 机器学习 机器学习是一类算法的总称,这些算法企图从大量历史数据中挖掘出其中隐含的规律,并用于预测或者分类,更具体的说,机器学习可以 ...

  5. 【深度学习】卷积神经网络速成

    [深度学习]卷积神经网络速成 文章目录 [深度学习]卷积神经网络速成 1 概述 2 组成 2.1 卷积层 2.2 池化层 2.3 全连接层 3 一个案例 4 详细分析 1 概述 前馈神经网络(feed ...

  6. 【深度学习】多层感知器高级使用

    [深度学习]多层感知器高级使用 文章目录 1 JSON序列化模型 2 YAML格式 3 模型增量更新 4 神网检查点 5 导入模型 6 可视化训练过程 神经网络的变种目前有很多,如误差反向传播(Bac ...

  7. 深度学习～卷积神经网络(CNN)概述

    目录​​​​​​​ 1. 卷积神经网络的形成和演变 1.1 卷积神经网络结构 1.2 卷积神经网络的应用和影响 1.3 卷积神经网络的缺陷和视图 1.3.1 缺陷:可能错分 1.3.2 解决方法:视图 ...

  8. 谷歌新 AI 实验室主管 Hugo 深度学习教程：神经网络、CV、NLP 难点解析

     谷歌新 AI 实验室主管 Hugo 深度学习教程:神经网络.CV.NLP 难点解析 [日期:2016-12-16] 来源:新智元  作者: [字体:大 中 小]  11月22日,谷歌在蒙特利尔的 ...

  9. 深度学习之循环神经网络（11-b）GRU情感分类问题代码

    深度学习之循环神经网络(11-b)GRU情感分类问题代码 1. Cell方式 代码 运行结果 2. 层方式 代码 运行结果 1. Cell方式 代码 import os import tensorfl ...

最新文章

  1. n皇后问题JS实现（N-Queens）
  2. python爬虫解决网页重定向问题
  3. 网络推广平台详细的介绍为什么要重视内容优化？
  4. 德国大学：如何改变一个民族和整个世界的命运
  5. Script标签解决跨域
  6. Unity Shader：雾的数学运算以及在Unity中使用Fog
  7. 十四、Hadoop学习笔记————Zookeeper概述与基本概念
  8. java基础_集合List与Set接口
  9. ImportError: libnvinfer.so.7: cannot open shared object file: No such file or directory
  10. 自己写Cache数据库之设计之初——想办法让16颗CPU扛住3w/s的压力？
  11. delphi 字符串处理中的怪异现象与处理
  12. Linux学习技巧分享
  13. 2018.06.30 BZOJ1857: [Scoi2010]传送带（三分套三分）
  14. 苏州电子地图高清下载
  15. 史上最全论文下载方法
  16. cdr添加节点快捷键_CorelDRAW快捷键大全（学习CDR必备）
  17. 微信小程序token使用（首页获取不到token）
  18. pci和pcie的区别
  19. 兼顾时尚与商务？ ThinkPad Z 重新定义“商务本”
  20. ISP—图像调试实习生（第二天）

热门文章

  1. 使用lap.lapjv实现线性分配（我主要用来作为匈牙利算法的实现）
  2. 逍遥android模拟器设置,逍遥安卓模拟器更改分辨率的具体操作方法
  3. 什么是前置审批许可、后置审批许可？
  4. sum与countif、countifs函数套用
  5. c语言中八进制和十六进制
  6. 小程序--广州旅游推荐
  7. C++中为二维数组开辟空间，并释放空间
  8. ios12最后一个正式版_iOS12.4正式版怎么样 iOS12.4正式版要不要升级
  9. 电路的等效变换（二）
  10. 如何避免Excel转PDF后内容少了一半