何谓分布式特征表达？
摘录自张玉宏的额《深度学习之美》，这本书真的不错哦！
以前总觉得像分布式这样的词，听着就高深莫测，所以看到标题含有分布式词汇的，都会让我没有继续阅读的兴趣，但张玉宏的这本书真的是太棒了，深得我心，每一个知识点都娓娓道来，让人沉醉！
在多层前馈神经网络中，输入层神经元主要用于接收外加的输入信息，在隐含层和输出层中都有内置的激活函数，可对输入信号进行加工处理，最终的结果由输出层呈现出来。
这里需要说明的是，神经元中的激活函数，并不限于我们前面提到的阶跃函数（ sgn ）、Sigmoid 函数，还可以是现在深度学习中常用的ReLU ( Rectified Linear Unit，线性修正单元） 和交叉恼损失函数 “So位max回归” 等。
简单来说，神经网络的学习过程，就是通过训练数据调整神经元之间的连接权值以及每个 功能神经元的输出阔值。 换言之， 神经网络需要学习的东西，就蕴含在连接权值和阔值之中。
拟人化来说，对于识别某个对象来说，神经网络中的连接权值和阔值，就是它关于这个对象的“记忆”！我们知道，大脑对于事物和概念的记忆，不是存储在某个单一的地点，而是分布式地存在于一个巨大的神经元网络之中。
硅谷投资人王川先生认为，分布式表征（Distributed Representation ）是人工神经网络研究 的一个核心思想。 那什么是分布式表征呢？简单来说，就是当我们表达一个概念时，神经元和概念之间不是一对一对应映射（ map ）存储的，它们之间的关系是多对多的。 具体而言，就是 一个概念可以用多个神经元共同定义表达，同时一个神经元也可以参与多个不同概念的表达， 只不过所占的权重不同罢了。
举例来说，对于“小红汽车”这个概念，如果用分布式特征来表达， 那么可能是一个神经元代表大小（形状：小）， 一个神经元代表颜色（颜色 ： 红），还有一个神经元代表车的类别（类别：汽车）。 只有当这三个神经元同时被激活时，才可以比较准确地描述我们要表达的物体。
分布式表征表示有很多优点。 其中最重要的一点莫过于当部分神经元发生故障时， 信息的表达不会出现覆灭性的破坏。 比如，我们常在影视作品中看到这样的场景，仇人相见分外眼红，一人（ A ）发狠地说，“你化成灰，我都认识你（ B ）！ ”这里并不是说 B 真的“化成灰” 了， 而是说，虽然时过境迁，物是人非，当事人B的外表也变了很多（对于识别人A来说， B在其大 脑中的信息存储是残缺的），但没有关系，只要B的部分核心特征还在，那A还是能够把B认得清清楚楚、真真切切的！
事实上，利用神经网络的分布式特征表达，还可以用来阻止过拟合的发生。 2012 年，辛顿 教授发表了一篇高引用论文【Improving neural networks by preventing co-adaptation of feature detectors[J]. Computer Science, 2012】，其中提到了一种在深度学习中广为使用的技巧： 丢弃学习 ( Dropout Learning ）。 算法的核心思想和前文讲解的理念有异曲同工之妙。
何谓分布式特征表达？相关推荐
- 自动驾驶中，激光雷达点云如何做特征表达
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达 激光雷达在自动驾驶系统中起着关键作用.利用它,可以准确地对车辆所处环境做3D建模,如高精度地图:也可以 ...
- 机器学习特征表达——日期与时间特征做离散处理（数字到分类的映射），稀疏类分组（相似特征归档），创建虚拟变量（提取新特征） 本质就是要么多变少，或少变多...
特征表达 接下来要谈到的特征工程类型虽然简单却影响巨大.我们将其称为特征表达. 你的数据并不一定总是理想格式.你需要考虑是否有必要通过另一种形式进行特征表达以获取有用信息. 日期与时间特征: 我们假设 ...
- 深度学习（二十四）矩阵分解之基于k-means的特征表达学习
矩阵分解之基于k-means的特征表达学习 原文地址:http://blog.csdn.net/hjimce/article/details/50429317 作者:hjimce 一.相关理论 因为最 ...
- 【实践】CTR预估在动态样式建模和特征表达学习方面的进展
分享嘉宾:秀武 阿里 高级算法专家 编辑整理:Hoh Xil 出品平台:DataFun 导读:富媒体时代,广告的样式需要千人千面,广告产品形态呈现多样式.多物料组合形态,对 CTR 预估提出了巨大的挑 ...
- CVPR 2019 | 「识面知心」——基于自监督学习的微表情特征表达
著名心理学家Paul Ekman和研究伙伴W.V.Friesen,通过对脸部肌肉动作与对应表情关系的研究,于1976年创制了"面部运动编码系统",而利用微表情的"读心术& ...
- NLP问题特征表达基础 - 语言模型（Language Model）发展演化历程讨论
1. NLP问题简介 0x1:NLP问题都包括哪些内涵 人们对真实世界的感知被成为感知世界,而人们用语言表达出自己的感知视为文本数据.那么反过来,NLP,或者更精确地表达为文本挖掘,则是从文本数据出发 ...
- OCRNet: 目标区域上下文信息的特征表达 | ECCV 2020
点击上方"视学算法",选择"星标" 干货第一时间送达 论文下载:http://xxx.itp.ac.cn/pdf/1909.11065.pdf 代码下载:htt ...
- 早期的行人再识别与深度行人再识别研究——行人再识别技术综述阅读笔记
这是对李幼蛟的一篇行人再识别综述做的学习笔记.新人第一次写博客,很多地方写的不够完善,还请大佬们多多指正! 行人再识别:判断不同摄像头下出现的行人是否属于同一行人[1]. 1.早期的行人再识别 早期的 ...
- 深度学习机器学习理论知识：范数、稀疏与过拟合合集（5）Dropout原理，操作实现，为什么可以缓解过拟合，使用中的技巧
范数.稀疏与过拟合合集(1)范数的定义与常用范数介绍 范数.稀疏与过拟合合集(2)有监督模型下的过拟合与正则化加入后缓解过拟合的原理 范数.稀疏与过拟合合集(3)范数与稀疏化的原理.L0L1L2范数的 ...
最新文章
- c 找文件服务器文件,Linux C/C++项目：虚拟文件服务器（功能匹配百度网盘）
- TestLink1.9.3测试用例：Excel转换XML工具一
- mysql创建存储过程权限问题
- 小鑫の日常系列故事（六）——奇遇记_JAVA
- [裴礼文数学分析中的典型问题与方法习题参考解答]4.3.14
- 1.1 Linux系统概述、安装与体验
- mysql的优化_第十一篇（查询计划篇）
- 关于浏览器存储问题理解
- DNS服务器配置图解过程(1)
- 个人使用unity3d过程中遇到的一些小问题集合之有时候在场景中创建光源会有一条虚线...
- User-Agent的变迁——浏览器大战之前世今生
- euraka 启动报错
- 安装多个电脑杀毒软件
- tensorflow中sigmod激活函数
- 处理文件上传后返回json数据在IE出现文件下载问题(框架是spring boot)
- 阿里mysql密码_阿里云自带mysql 密码
- 本地化部署大语言模型 ChatGLM
- 机器学习所需要的高数知识
- PyTorch开发者福音, OpenVINO整合PyTorch实现推理加速！
- 微信小程序真机调试,苹果用户记得打开本地网络