https://www.toutiao.com/a6687884910335623691/

总体内容概括

本文综述了几种提高训练精度和缩短训练时间的优化方法。深入研究了最近深度网络中使用的训练算法背后的数学原理。将描述当前的缺点、增强和实现。本文还介绍了深度卷积网络、深度残差网络、递归神经网络、增强学习、变分自编码器等不同类型的深度结构。

为了方便大家理解，我首先放几张图片和表格

Github上深度学习库的趋势

深度学习框架和库热度

CNN算法的伪代码

DNN网络对比

深度学习算法对比

深度学习算法劣势及解决办法

大致目录：

引言
神经网络的分类

前馈神经网络
递归神经网络
径向基函数神经网络
Kohonen自组织神经网络
模块化神经网络

3. 神经网络架构

卷积神经网络
Autoencoder
受限玻尔兹曼机(RBM)
长短时记忆(LSTM

4. 训练算法

Gradient Descent
Stochastic Gradient Descent
Momentum
Levenberg–Marquardt algorithm
Backpropagation through time

5. 训练算法缺陷

a. vanishing and exploding gradients
b. local minima
c. flat regions
d. steep edges
e. training time
f. overfitting

6. 优化算法

7. 算法架构实现

人工智能论文研读：深度学习算法与架构综述（包含详细统计表）相关推荐

人工智能综述性论文_人工智能论文研读：深度学习算法与架构综述（包含详细统计表）...
综述一共26页总体内容概括本文综述了几种提高训练精度和缩短训练时间的优化方法.深入研究了最近深度网络中使用的训练算法背后的数学原理.将描述当前的缺点.增强和实现.本文还介绍了深度卷积网络.深度残差 ...
人工智能趋势与深度学习算法
人工智能趋势与深度学习算法 1 前沿技术 1.1 Transformer模型: 1.2 BERT模型:基于Transformer Encoder构建的预测模型 1.3 自监督学习(Self-super ...
文献阅读（44）—— 基于眼底照的近视深度学习算法和区块链平台，以促进人工智能医学研究：回顾性多队列研究
基于眼底照的近视深度学习算法和区块链平台,以促进人工智能医学研究:回顾性多队列研究 Retinal photograph-based deep learning algorithms for myop ...
走进人工智能|深度学习算法的创世纪
前言: 深度学习通过训练深层神经网络模型,可以自动学习和提取数据的特征,包括更准确的图像识别.自然语言处理.医学诊断等方面的应用. 文章目录序言背景算法的创世纪技术支持应用领域程序员如何学 ...
人工智能信道估计深度学习_深度学习人体姿态估计算法综述
作者 | Bharath Raj 译者 | 李志编辑 | Vincent AI 前线导读:人体姿态估计的任务是从包含人体的图片中检测出人体关键点,并恢复人体位姿.随着深度学习的发展,越来越多的深度学 ...
人工智能：深度学习算法及应用——简单理解CNN卷积神经网络并python实现（带源码）
深度学习算法及应用一. 实验目的二. 实验要求三. 实验的硬件.软件平台四. 实验原理 1.1. 深度学习概述 1.2. 深度学习的常见结构 1.3. 卷积神经网络(CNN) **卷积** * ...
TensorFlow深度学习算法原理与编程实战人工智能机器学习技术丛书
作者:蒋子阳著出版社:中国水利水电出版社品牌:智博尚书出版时间:2019-01-01 TensorFlow深度学习算法原理与编程实战人工智能机器学习技术丛书 ISBN:97875170682 ...
TensorFlow 2.0深度学习算法实战第一章人工智能绪论
第一章人工智能绪论 1.1 人工智能 1.1.1 人工智能 1.1.2 机器学习 1.1.3 神经网络与深度学习 1.2 神经网络发展简史 1.2.1 浅层神经网络 1.2.2 深度学习 1.3 深 ...
人工智能导论实验四：深度学习算法及应用
实验四:深度学习算法及应用一.实验目的 1.了解深度学习的基本原理: 2.能够使用深度学习开源工具: 3.应用深度学习算法求解实际问题. 二.实验要求 1.解释深度学习原理: 2.对实验性能进行分析 ...

人工智能论文研读：深度学习算法与架构综述（包含详细统计表）