文献阅读

一种轻量级的时空脉冲神经网络，基于时空脉冲压缩特征

dio:https://doi.org/10.1016/j.neucom.2020.10.100
摘要：
降低计算复杂度，对于SNN分类问题，依然是一个挑战。这篇文章提出一种有效的时空压缩脉冲特征，提出了一种轻量级的SNN框架，包含特征提取，我们的实验基于主流的数据集MNIST，SNN有潜力成为应用低能耗，或者资源有限边界计算系统和。。。
关键词：神经态计算，尖峰网络，SNN，

正文：

介绍

因为脉冲刺激在时域中是稀疏的，在网络中的神经元总是并行运算的，当脉冲到达的时候，这使得SNN计算和能耗上是高效的、
因为降低运算资源的需要，节省计算能量，提高运算于都，其他的作者[13~17]提出了轻量级别的SNN，基于一个比较浅层的网络结构。
一个典型的轻量级SNN包含三个主要部分：输入代码，特征学习和分类，抽取最重要的特征，分类特征使用权重从学习到的训练过程。
普通的编码方式包括时间编码和速率编码。时间编码将每一个刺激都转为脉冲的精确延时，但是对噪声敏感。为什么对噪声敏感呢？有人提出了一个三维的神经元方块，

在特征提取方面，大多数广泛应用的特征提取手段是监督的时间学习法则，和无监督的时空依赖可塑性法则。提出时空压缩脉冲特征是由压缩感知理论所启发的。[24~27]另外，我们提出了多脉冲时空编码框架，免疫更多的噪声信息，相对于单脉冲时间编码。
我们提出了轻量级的SNN框架，包含四层：一个输入的多脉冲时间编码层，一个时空压缩脉冲特征收取层，一个时域学习层和一个广泛使用的决策层。

整篇文章安排如下：第二节介绍整个假说的框架，和每层的功能。第三节详尽说明我们的提出的压缩脉冲特征。

第二节

学习层包含C*N个LIF神经元，c代表分类数量，N是每一类所需要的神经元数。每一类对应多个神经元。在这里，每一个像素被编码为精确时间的延迟。但是这样的话，对网络结构和时域噪声是非常敏感的。
这里使用的是IF神经元。膜电压被初始化为0，并且线性增长到像素值，在编码时间窗口内。如果超过了阈值，那么直接置零，并且重新开始，。这个过程一直重复到编码之间结束

这样，一个多神经元编码机制以相等的时间间隔发射脉冲，并且每个脉冲的时间间隔是和像素值等比例的。在我们的实验中，我们设置速率β=4∗10−5\beta=4*10^{-5}β=4∗10−5,并且阈值电压设置为Vt=1VV_t=1VVt=1V,这样最亮的那个像素值在时间窗口可以发射10次脉冲，而像素值小于25的不会发放任何脉冲。显而易见，这种方式抗噪声性能会更好。

这种多时间编码实际上是一种混合物，一种速率编码和首次时间编码的混合物。但是，这个方法要求的速率要远远小于传统速率编码的速率。这个好处就是，如果两个相似的像素传递了相同的脉冲速率，那么首次编码延迟时间依然可以把它们分辨出来。

2.2 压缩感知层

每个patch有三个属性，位置，大小和极性（+1或者-1）。无论何时，它接受到一个脉冲在tit_iti一个突触后的将会叠加在膜电压上。

2.3 学习层

这里有两个常见的自适应规则对于SNN:无监督的STDP规则和有监督的时间学习规则。学习规则就是，如果属于这一类但是没有fire，那么就把权重增强。反之，如果不属于这一类，但是放电了，那么权重就减弱。

CompSNN: A Lightweight Spiking Neural Network Based on Spatiotemporally Compressive Spike Features相关推荐

A Load Balanced Mapping for Spiking Neural Network
A Load Balanced Mapping for Spiking Neural Network -------------------------------------- 发表时间--2017 ...
Paper翻译：《A Novel Convolutional Neural Network Based Model for Recognition and Classification of App》
论文名称:<A Novel Convolutional Neural Network Based Model for Recognition and Classification of Appl ...
读论文《Recurrent neural network based language model 》
读论文<Recurrent neural network based language model > 标签(空格分隔): 论文 introduce 本文将循环神经网络RNN引入了神经网络 ...
Convolutional Neural Network based Multiple-Rate Compressive Sensing for Massive MIMO CSI Feedback:
Convolutional Neural Network based Multiple-Rate Compressive Sensing for Massive MIMO CSI Feedback: ...
脉冲神经网络：MATLAB实现脉冲神经网络(Spiking Neural Network，SNN) 用于图像分类（提供MATLAB代码）
一.脉冲神经网络脉冲神经网络 (Spiking Neural Network,SNN) ,是第三代神经网络.其旨在弥合神经科学和机器学习之间的差距,使用最拟合生物神经元机制的模型来进行计算,更接近生 ...
Item Tagging for Information Retrieval: A Tripartite Graph Neural Network based Approach 用于信息检索的项目标签
文章目录摘要简介 Tagging 方法动机和总览动机总览 TagGNN-IT 节点表示 TagGNN-IT Propagation 损失 2.3 TagGNN-QI 2.3.1 边表示 2. ...
【论文笔记】A Bio-inspired Spiking Neural Network for Control of A 4-DoF Robotic Arm
Abstract Spiking Neural Network (SNN) 尖峰神经网络基于生物神经元的控制机制用数据驱动的方式评估运动学特性 + 减小分析建模的复杂难度输入:理应达到的目标位姿 ...
深度学习基础--不同网络种类--尖峰神经网络/脉冲神经网络(spiking neural network, snn)
尖峰神经网络/脉冲神经网络(spiking neural network, snn) 是三代神经网络模型,属于计算神经科学,动物的神经网络大多是脉冲神经网络. 资料不多,而且大多是外文本 ...
类脑运算--脉冲神经网络（Spiking Neural Network）发展现状
类脑运算–脉冲神经网络(Spiking Neural Network)发展现状前一段时间忙于博士论文的攥写和答辩, 抱歉拖更继上一章: 类脑运算–脉冲神经网络(Spiking Neural Net ...

CompSNN: A Lightweight Spiking Neural Network Based on Spatiotemporally Compressive Spike Features

文献阅读

一种轻量级的时空脉冲神经网络，基于时空脉冲压缩特征

介绍

第二节

2.2 压缩感知层

2.3 学习层

CompSNN: A Lightweight Spiking Neural Network Based on Spatiotemporally Compressive Spike Features相关推荐

最新文章

热门文章