【神经网络哲学思考和研究启示】
目录
- 写在前面的话
- 什么是神经网络？
- 全连接神经网络的缺点
- 神经网络和感知器训练的不同
- 思考
写在前面的话
“神经网络”是什么？如何直观理解它的能力极限？它是如何无限逼近真理的？
视频笔记~
什么是神经网络？
神经网络由多个感知机组成。下面给出一个基本的神经网络，由输入层，隐藏层和输出层构成，隐藏层由多个感知机组成。不论是给一个结构化的数据还是非结构化的数据，隐藏层所接收的都是特征数据，每个特征数据有一定的权重，当给出一个猫的图片，耳朵和胡子权重占比大就会激活猫的分类而抑制狗的分类。注意下面是一个全连接层的神经网络，除此之外还有卷积神经网络，循环神经网络等等。
普遍逼近定理：只要神经网络有一个隐藏层，那它就能任意逼近一个连续函数。
傅里叶级数：把一个复杂的函数分解成一个个圆周运动（正弦波）。
神经网络：把一个复杂的函数分解成一个个感知机（线性函数+激活函数）。
全连接神经网络的缺点
当数据维度过大时，全连接神经网络很难花费较短的时间去调节参数：考虑一张1080p的图片，200多万个像素点，代表数据有200多万个维度，输入到全连接神经网络就有200多万参数需要被调节。
神经网络和感知器训练的不同
感知机需要两侧的数据把分界线夹逼出来，即胖和瘦的数据。
神经网络只需要一侧的数据就能把分界线找出，它是怎么找出来的呢？比如训练识别猫，我们只给猫的照片，没有给出不是猫的照片（因为太多了）进行训练，那么神经网络怎么找到这个决策面的呢？
感知机的激活函数是0/1跃阶
神经网络的激活函数是非线性的，例如sigmoid函数
从一个是非问题，变成了好坏程度问题（是不是猫，变成到底有多像猫）。平面变成曲面。
神经网络找出一个偏差最小的模型，逼近任何一种统计模型。
感知机：
线性函数：对某个类型里标准模型的描述
激活函数：判断标准，判断你这个数据是否符合这个标准
神经网络：
一堆线性函数+一堆激活函数（层层逼问）
思考
神经网络是演化的产物，类似遗传算法能找到的解，但是这个解不能被写成一个统一的表达式，只能一步步执行，神经网络也是如此。但是现实中的物理规律是底层规律的组合，不用像神经网络一样判断对或错，好或坏，所以可以写成统一的表达式。也许正是因为神经网络引入激活函数这样的概念，使得神经网络通过演化的方式不断逼近真相。
【神经网络哲学思考和研究启示】相关推荐
- 虚拟人在虚拟现实中应用的技术思考与研究
虚拟人在虚拟现实中应用的技术思考与研究 内容摘要:虚拟人是虚拟现实中的一个重要部分,很大程度上决定了用户的沉浸感与虚拟世界的代入感.对于虚拟人技术的探索也从未间断过,并且取得了较为不错的发展与成果.在 ...
- 一个人能够哲学思考的条件
一部人类的历史,就是不断劳作以求生存的历史.但劳作不是人生的目的,而是达到人生目的的手段.所以,亚里士多德在<政治学>中说:"人的本性谋求的不仅是能够胜任劳作,而且是能够安然享有 ...
- [云炬python3玩转机器学习笔记] 2-5机器学习相关的哲学思考
2-5机器学习相关的哲学思考
- 基于深度卷积神经网络的目标检测研究综述
基于深度卷积神经网络的目标检测研究综述 人工智能技术与咨询 来自<光学精密工程> ,作者范丽丽等 摘要:作为计算机视觉中的基本视觉识别问题,目标检测在过去的几十年中得到了广泛地研究.目标检 ...
- Matlab神经网络语音增强,基于BP神经网络的语音增强研究
曰髯? 分类号: 论文编号:2丛坦丝旦生丛 密级:公开 贵州大学 2009届硕士研究生学位论文 基于即神经网络的语音增强研究 学科专业:电路与系统 研究方向:模式识别 导师:刘宇红教授 研究生:周元芬 ...
- A Survey on Neural Network Interpretability (神经网络的可解释性研究综述)
A Survey on Neural Network Interpretability 摘要 Ⅰ 引言 A 可解释性的(扩展)定义 B 可解释性的重要性 C 相关工作及贡献 D 综述组织结构 Ⅱ 分类 ...
- matlab流量预测模型,基于MATLAB工具箱的BP神经网络年径流量预测模型研究——以塔城地区乌拉斯台河为例...
水 文 JOURNAL OF CHINA HYDROLOGY 第28卷第1期 2008年2月 Vol.28 No.1 Feb., 2008 塔城地区位于新疆维吾尔自治区西北边陲, 地处中纬, 虽属内陆 ...
- Udacity调试课笔记之简化的哲学思考
Udacity调试课笔记之简化的哲学思考 干货无几,水文续之. 嗯,作为一个完全没有哲学概念的人来说,写这么一篇笔记,那绝对比水文还水了. 接上一回简化失败,我们用Delta调试法从大堆沙子输入中淘到 ...
- 粗糙集在计算机网络中的应用,粗糙集神经网络计算机网络故障诊断方法研究
人工智能 7.学位论文 代文征 基于粗糙集的不完备信息系统的属性约简研究 2006 1982年波兰学者Z.Pawlak提出了粗糙(Rough)集.它是一种处理不精确和不完备信息的数学工具,而且不依赖于 ...
最新文章
- GitHub上开源的YOLOv5
- bigdecimal不等于0怎么写_创业计划书不知道怎么写？掌握核心逻辑是关键
- 成功解决AttributeError: type object 'scipy.interpolate.interpnd.array' has no attribute '__reduce_cython
- C#中使用DES和AES加密解密
- mysql默认值无效_MySQL开发规范
- Pandas知识点-排序操作
- spark学习-JavaRDD注册成表然后用SparkSQL查询
- python vimrc的安装，并用pep8检测python代码
- BZOJ2002：[HNOI2010]弹飞绵羊——题解
- 使用PPT进行屏幕录制
- Direct3D透视教程，教你做出属于自己的透视
- Url短连接实现原理与方法
- spark大数据的学习
- 一种网格去噪算法（基于平均面法向的均值滤波）
- Python小课们是如何赚钱的
- 集宁一中高122班聚会筹委会正式成立
- 网络信息安全——网络阶段笔记总结--jf
- Java没有友联（函数）这个概念怎么办？
- 小程序开发学习（3）---.wxss详解篇
- 去噪算法 matlab,经典滤波算法去噪对比实验（Matlab实现）