深度人工神经网络模拟单个皮层神经元6
重点
1.皮层神经元很好地近似于一个深度神经元具有5-8 层的网络 (DNN)
2.DNN 的深度来自于 NMDA 之间的交互受体和树突形态
3.树突分支可以概念化为一组时空模式检测器
4.提供了一种统一的方法来评估计算任何神经元类型的复杂性
简要总结
利用机器学习的最新进展，我们引入了一种系统方法来表征神经元的输入/输出 (I/O) 映射复杂性。训练深度神经网络 (DNN) 以在毫秒（尖峰）分辨率下忠实地复制皮层神经元的各种生物物理模型的 I/O 功能。需要一个具有五到八层的时间卷积 DNN 来捕获第 5 层皮质锥体细胞 (L5PC) 的真实模型的 I/O 映射。当在训练分布范围之外广泛呈现输入时，该 DNN 可以很好地泛化。当 NMDA 受体被移除时，一个更简单的网络（具有一个隐藏层的完全连接的神经网络）足以拟合模型。对 DNN 的权重矩阵的分析表明，树突分支中的突触整合可以概念化为来自一组时空模板的模式匹配。这项研究提供了单个神经元计算复杂性的统一表征，并表明皮层网络因此具有独特的架构，可能支持其计算能力。
第六节 讨论
DNN 领域的最新进展首次提供了一个强大的通用工具，可以从示例中学习复杂的映射。在这项研究中，我们使用这些工具以毫秒时间分辨率研究单个复杂非线性神经元的 I/Omappings。我们通过模拟 L5PC 的神经元模型在其树突表面上接收丰富的突触输入库并记录其峰值输出毫秒时间分辨率以及其体细胞亚阈值，构建了一个包含（突触）输入和（轴突）输出示例的大型数据集膜电位。然后，我们在这些 I/O 对上训练各种配置的网络，直到我们获得性能接近神经元详细模拟的模拟“深度”网络。我们将这个框架应用于一系列具有不同形态电复杂性的神经元模型，并获得了关于皮层神经元计算复杂性的新见解。对于简单的 I&F 神经元模型，我们的框架提供了一个简单的模拟 DNN，其中一个隐藏层由一个隐藏单元组成捕获模型的完整 I/O 关系。各个 DNN 过滤器提供了关键的生物物理见解，这与我们对塑造 I&F 模型的 I/O 关系的参数的理解一致（图 1）。
在仅对由 NMDA 突触组成的皮层神经元的单个基底树突分支进行建模的情况下，需要仅具有几个单元的浅层（一个隐藏层）DNN 来捕获突触输入的时空整合的不同方面（图 5 ）。令人惊讶的是，即使是 L5 皮质锥体神经元模型，其树突树和大量树突电压依赖性电流和基于 AMPA 的突触也被具有单个隐藏层的相对简单的网络很好地捕获（图 3）。然而，在由基于 NMDA 的突触组成的 L5 锥体神经元的完整模型中，类似 DNN 的复杂性显着增加；当使用具有 5 到 8 个隐藏层的 TCN 时，我们发现该模型单元的 I/O 非常适合（图 2 和 4；另请参见图 S2 和 S3）。
此外，在随机输入上训练的 L5PC 的七层类似 DNN 成功地推广到新的分布外集群和同步输入集（图 6）。这些结果表明，具有非线性突触输入的单个皮层神经元已经在它自己的，一个复杂的计算单元。因此，由这些单元构建的皮层网络比仅仅基于它们的解剖（突触前到突触后）连接看起来更深，计算更强大。重要的是，使用 DNN 实现单个神经元的 I/O 功能也提供了实用的优势。它在计算上比传统的隔室模型要高效得多，传统的隔室模型需要对每个神经元求解数千个偏微分方程 (PDE)。事实上，对于 L5PC 的完整模型，当使用 DNN 而不是其隔室模型对应物时，我们获得了 2,0003 的加速。然而，我们没有对我们的 DNN 方法对不同神经元模型、不同输入条件或不同硬件或软件版本的计算优势进行全面的经验或理论比较，因为这超出了本研究的范围。
一般来说，我们的方法的计算加速来自 (1) 压缩/简化（通过 DNN 的计算节点和层）在单元中执行的所有树突计算，只保留与输出尖峰生成相关的计算； (2) 利用为深度学习社区日益增长的需求而不断开发的专用图形处理单元 (GPU) 硬件和相应的软件生态系统。总之，我们的工具可能对模拟大规模现实神经元网络有用（Egger 等人，2014；Markram 等人，2015）。此外，给定神经元的相应 DNN 的大小可以用作（在某些假设下 [见下文]）作为其计算能力的指标；它越大，这个神经元可以执行的计算就越复杂。这样的指数将能够系统比较不同的神经元类型（例如，CA1 锥体细胞、皮质锥体细胞和浦肯野细胞）或不同物种中的相同类型的细胞（例如，小鼠与人类皮质锥体细胞）。强调出于优化的原因，上述类似 DNN 的复杂度是各个单个神经元的 I/O 的真实计算复杂度的上限，即可能存在一个较小的 DNN，它以相似程度模拟生物物理神经元准确性，但我们使用的训练过程没有找到它。此外，我们注意到我们将架构搜索空间仅限于 FCN 和 TCN 神经网络架构。
对于任何期望的预测准确度，额外的架构搜索可能会产生更简单和更紧凑的模型。尽管如此，我们强调，与详细的生物物理模拟相比，这个上限实际上在计算上要少几个数量级。此外，图 1 中显示的结果清楚地表明，如果皮质神经元的 I/O 转换实际上更简单，我们提出的方法将能够揭示简单的 I/O 关系。这表明我们发现的 DNN 大小可能是一个相对严格的上限。为了促进科学界的这种搜索，我们发布了我们的大型现成数据集，该数据集模拟了一个完全复杂的单个 L5 皮质神经元的模拟输入和输出，采用了类似体内的机制，以便社区可以专注于对这一努力的各个方面进行建模并避免自己重新运行模拟。DNN 的分析是一项具有挑战性的任务，也是一个快速发展的领域（Mahendran 和 Vedaldi，2015；Mordvintsev 等，2015；Olahet 等，2017）。
然而，观察各个 DNN 第一层中的单元（过滤器）的权重矩阵很简单，并且可以提供关于神经元的 I/O 转换的大量见解。完整的网络可以解释为由一组基本的过滤器组成，这些过滤器跨越了突触输入的可能时空模式的空间，这些模式将驱动原始神经元尖峰。第一层定义了这个空间，网络的其余部分在该空间内混合和匹配空间。例如，如图 3 所示，在没有 NMDA 突触的锥体神经元的情况下，大多数过滤器仅对基底和顶端倾斜输入具有显着的权重，而为顶端簇突触赋予的权重可以忽略不计（尽管存在电压依赖性该模型中的 Ca2+ 和其他非线性电流，导致远端树突簇中偶尔出现 Ca2+ 尖峰）。当模型中包含 NMDA 突触时，情况根本不同。在这种情况下，分配给顶端树突突触的权重是显着的（图 2；另请参见图 S6）。此外，用于这些顶端输入的过滤器往往具有比近端突触更宽（在时间上）的时间结构，这表明输入到顶端突触的时间精度对于躯体中的尖峰产生不太重要。
这些是可以通过观察得到的类似 DNN 的第一层过滤器得出的基本见解。这项工作为未来的研究开辟了多个额外的途径。一个重要的方向是以类似于此处对基于 NMDA 的受体执行的方式分离特定机制对神经元计算能力的贡献（也参见图 S2）。在操纵特定的电压依赖性树突电流（例如，电压门控钙通道 [VGCC]、电压门控钾 [Kv] 通道或超极化激活的环核苷酸门控 [HCN] 通道）的同时拟合 DNN，将提供更深入的理解它们对整体突触整合过程和各自 DNN 的复杂性的贡献。另一个有趣的方向是利用这项工作来探索真实神经元如何使用其丰富的生物物理库来执行由等效 DNN 计算的类的特定计算。通过利用梯度下降优化和专门的 GPU 硬件加速，可以有效地训练表示神经元的 DNN 以计算有趣、有意义的函数（例如，训练它对手写数字的图像进行分类或对听觉声音序列进行分类）。然后它或许可以将此 DNN 映射回原始的生物物理神经元模型。
然后，人们既可以直接验证单个神经元可以执行复杂且有用的计算任务的假设，也可以研究这些神经元和突触的特定时空分布如何实际执行这些任务。如果确实一个皮层神经元相当于一个多层 DNN，那么对皮层微电路？那个电路仅仅是由简单的“点神经元”组成的更深层次的经典 DNN 吗？经典 DNN 和由深层神经元组成的皮层回路之间的一个关键区别在于，在后一种情况下，突触可塑性主要发生在单个皮层神经元的类似 DNN 的突触（输入）层中，而其隐藏的权重层是固定的（并且专用于表示单个皮层神经元的 I/O 功能）。
然而，重要的是要注意，神经元中还有其他形式的（非突触）可塑性，例如分支特异性可塑性或内在可塑性（Losonczy 等，2008），它们也许可以塑造神经元深层的权重。除了突触功效外，还有类似的 DNN。结合不同类型的皮层神经元之间的无数循环连接和网络基序（Markram 等人，2015），我们在此提出了一种具体的、受生物学启发的皮层网络网络架构，该网络架构无缝地结合了单神经元的复杂性。 （Richards 等人，2019 年）最近提倡将架构作为研究的关键要素。事实上，寻找合适的人工神经网络架构是当今机器学习最有价值的途径之一（He et al., 2015; Lin et al., 2014; Vaswani et al., 2017），并研究建议的具体架构在本研究中，可能会解开隐藏在皮层微电路中的一些感应偏差，并将其用于未来的人工智能 (AI) 应用。
深度人工神经网络模拟单个皮层神经元6相关推荐
- 深度人工神经网络模拟单个皮层神经元1
重点 1.皮层神经元很好地近似于一个深度神经元具有 5-8 层的网络 (DNN) 2.DNN 的深度来自于 NMDA 之间的交互受体和树突形态 3.树突分支可以概念化为一组时空模式检测器 4.提供了一 ...
- 人工神经网络理论、设计及应用_TensorFlow深度学习应用实践：教你如何掌握深度学习模型及应用...
前言 通过TensorFlow图像处理,全面掌握深度学习模型及应用. 全面深入讲解反馈神经网络和卷积神经网络理论体系. 结合深度学习实际案例的实现,掌握TensorFlow程序设计方法和技巧. 着重深 ...
- 人工神经网络能否驾驭生物神经元的“浓稠”程度？5到8层可能并非极限
来源:图灵人工智能 编译:李扬霞 编辑:青暮 计算神经科学家通过训练人工神经网络来模仿生物神经元,提供了一种探讨单个脑细胞复杂性的新方法. 虽然我们糊状的大脑似乎与计算机处理器中的芯片大相径庭,但科学 ...
- 人工神经网络——理解人工神经元和神经网络
前言 人工神经网络主要根据大脑神经元构建人工神经元,并且按照一定的拓扑结构建立神经元之间的连接,模拟生物神经网络.早期模型强调生物合理性,目前更加强调对认知能力的模拟,完成某种特定任务.人工神经网络系 ...
- 人工神经网络模型发展及应用综述
摘要:机器学习这一词不断的出现在网络上,也是近几年受欢迎的热词,而机器学习的基础算法就是人工神经网络,人工神经网络的研究是当下各种网络的基础,也越来越受人们的关注,现在人工神经网络的发展在当下不管是理 ...
- 人工神经网络中的多模态神经元
推荐:将 NSDT场景编辑器加入你的3D工具链 3D工具集: NSDT简石数字孪生 2005年,发表在<自然>杂志上的一封信描述了人类神经元对特定人的反应,例如詹妮弗·安妮斯顿或哈莉· ...
- 学习笔记CB009:人工神经网络模型、手写数字识别、多层卷积网络、词向量、word2vec...
人工神经网络,借鉴生物神经网络工作原理数学模型. 由n个输入特征得出与输入特征几乎相同的n个结果,训练隐藏层得到意想不到信息.信息检索领域,模型训练合理排序模型,输入特征,文档质量.文档点击历史.文档 ...
- 人工神经网络模型与分类
1. 人工神经网络的分类 按性能分:连续型和离散型网络,或确定型和随机型网络. 按拓扑结构分:前向网络和反馈网络. 前向网络有自适应线性神经网络(AdaptiveLinear,简称Adaline). ...
- 人工神经网络分析方法,人工神经网络算法步骤
BP人工神经网络方法 (一)方法原理人工神经网络是由大量的类似人脑神经元的简单处理单元广泛地相互连接而成的复杂的网络系统.理论和实践表明,在信息处理方面,神经网络方法比传统模式识别方法更具有优势. 人 ...
最新文章
- 2019 Mac装Cocoapods的步(cai)骤(keng)记录
- C#高性能大容量SOCKET并发（十）：SocketAsyncEventArgs线程模型
- android应用课程设计报告,基于Android的多媒体播放器课程设计报告.doc
- 大型网站架构演变和知识体系--转
- Apache Commons：Betwixt介绍
- Matlab图像剪切，超出图像区域指定颜色填充
- 接视频Java 数据库
- The Book List
- python lxml xpath爬取图片代码
- ic读卡器设置工具_从Matlab被禁来看，给IC教育带来哪些启发？
- VIVO怎么创建计算机快捷方式,vivo手机快捷键怎么调出来
- 快手上市，有一批员工平均身家超3200万，但追赶抖音没那么简单
- 人机工程学/人因工程学的定义
- SPOOLing和虚拟化
- 日积一步3（求解点到平面二次曲线的最近距离）
- apple tv设置_如何设置Apple TV以自动打开电视或媒体中心
- 电商交易背景知识合集第一季
- OpenCV之Vec3f
- .net 发短信案例
- stm32的语音识别_基于STM32的嵌入式语音识别模块设计实现