1.全连接网络

全连接神经网络（Fully Connected Netural Network，FCN），是一种连接方式较为简单的人工神经网络结构，属于前馈神经网络的一种，只要有输入层、隐藏层和输出层构成，并且在每个隐藏层中可以有多个神经元。多层感知机（MLP, Multi-Layer Perception)，也叫人工神经网络（ANN，Artificial Neural Network）就属于是全连接网络，MLP 网络是可以应用于几乎所有任务的多功能学习方法，包括分类、回归，甚至是无监督学习。

2.全连接是如何实现的

大家都知道全连接是输入层的每个参数都参与了输出层每个参数的计算。但具体是如何实现的呢？

总结来说：是用和输入层同样大小同样通道数的卷积来实现的。

举例来说：

全连接把卷积输出的二维特征图（feature map）转化成一个一维向量，也就是说：最后的两列小圆球就是两个全连接层，在最后一层卷积结束后，又进行了一次池化操作，输出了20个12x12的图像（20指最后一层的厚度），然后通过了一个全连接层变成了1x100的向量（第一个全连接层神经元的个数是100）

怎么做到的？

该操作其实就是用100个20x12x12的卷积核卷积出来的，对于输入的每一张特征图，都使用一个和图像大小一样的核卷积进行卷积运算，这样整幅图就变成了一个数了，如果厚度是20就是那20个核卷积完了之后相加求和。这样就能把一张图高度浓缩成一个数了。
但是全连接的参数实在是太多了，你想这张图里就有20个12x12x100个参数，前面随便一层卷积，假设卷积核是7*7的，厚度是64，那也才7x7x64，所以现在的趋势是尽量避免全连接，目前主流的一个方法是全局平均池化（GlobalAveragePooling）。也就是最后那一层的feature map（最后一层卷积的输出结果），直接求平均值。有多少种分类就训练多少层，这十个数字就是对应的概率。

3.全连接代码实现

import torch.nn as nn
fc1 = nn.Linear(320, 50) #输入320维，输出50维的全连接网络

参考资料：

https://blog.csdn.net/gongliming_/article/details/89634243

【深度学习】全连接网络相关推荐

深度学习入门之PyTorch学习笔记：多层全连接网络
深度学习入门之PyTorch学习笔记绪论 1 深度学习介绍 2 深度学习框架 3 多层全连接网络 3.1 PyTorch基础 3.2 线性模型 3.2.1 问题介绍 3.2.2 一维线性回归 3.2 ...
深度学习中多层全连接网络的梯度下降法及其变式
深度学习中多层全连接网络的梯度下降法及其变式 1 梯度下降法 2 梯度下降的变式 1.SGD 2.Momentum 3.Adagrad 4.RMSprop 5.Adam 6.小结 1 梯度下降法梯度 ...
(深度学习)前馈神经网络—全连接网络的一般流程
一.神经网络引言: 神经网络是一种大规模的并行分布式处理器,天然具有存储并使用经验知识的能力,它从两个方面上模拟大脑:网络获取的知识是通过学习来获取的:内部神经元的连接强度,即突出权重,用于存储获取 ...
如何挑选深度学习 GPU？
如何挑选深度学习 GPU? 深度学习是一个对计算有着大量需求的领域,从一定程度上来说,GPU的选择将从根本上决定深度学习的体验.因此,选择购买合适的GPU是一项非常重要的决策.那么2020年,如何选择 ...
基于深度学习的目标检测综述
基于深度学习的目标检测算法归类和总结整体框架目标检测算法主要包括:[两阶段]目标检测算法.[多阶段]目标检测算法.[单阶段]目标检测算法什么是两阶段目标检测算法,与单阶段目标检测有什么区别? ...
深度学习 -- TensorFlow（项目）验证码生成与识别（多任务学习）
目录基础理论一.生成验证码数据集 1.生成验证码训练集 1-0.判断文件夹是否为空 1-1.创建字符集(数字.大小写英文字母) 1-2.随机生成验证码(1000个,长度为4) 2.生成验证码测试集 ...
深度学习中的卷积网络简介
卷积网络(convolutional network)也叫做卷积神经网络(convolutional neural network, CNN),是一种专门用来处理具有类似网格结构的数据的神经网络.例如 ...
病虫害模型算法_基于深度学习的目标检测算法综述
sigai 基于深度学习的目标检测算法综述导言目标检测的任务是找出图像中所有感兴趣的目标(物体),确定它们的位置和大小,是机器视觉领域的核心问题之一.由于各类物体有不同的外观,形状,姿态,加上成像 ...
大话卷积神经网络CNN，小白也能看懂的深度学习算法教程，全程干货建议收藏！...
来源 | 程序员管小亮本文创作的主要目的,是对时下最火最流行的深度学习算法的基础知识做一个简介,作者看过许多教程,感觉对小白不是特别友好,尤其是在踩过好多坑之后,于是便有了写这篇文章的想法. 由于文 ...
22张精炼图笔记，深度学习专项学习必备
作者 | DL&CV_study9 编辑 | Elle 来源 | CSDN 博客本文为人工智能学习笔记记录. [深度学习基础篇] 一.深度学习基本概念监督学习:所有输入数据都有确定的对应输 ...

【深度学习】全连接网络