深度学习-吴恩达

文章目录

深度学习-吴恩达
前言
一、神经网络
- 1.随机初始化
- 2.深层神经网络的前向传播
- 3.核对矩阵的维数
- 4.为什么使用深层表示
- 5.搭建深层神经网络块
- 6. 前向传播与反向传播
- 7. 参数与超参数

前言

随着人工智能的不断发展，深度学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了深度学习的基础内容。

一、神经网络

1.随机初始化

问题： 为何初始化参数（w和b）不能为0？
假设输入为两个特征，网络存在两个隐藏单元。参数为0 ，此时两个隐藏单元始终都在做相同的计算，两个隐藏单元对输出的影响也一样大；当在反向传播时，对两个激活函数求导时结果也是相同的。所以在这种情况下，多个隐藏单元就显得无意义。
正确做法：

2.深层神经网络的前向传播

3.核对矩阵的维数

维度总结：

其中，小写针对单个样本的特征，大写针对所有样本的特征。

4.为什么使用深层表示

先从边缘特征入手进行探测，其次对脸的五官进行探测，最后将五官组合成脸部进行探测。在神经网络的前几层一般学习一些较低层次的简单特征，后几层再讲简单的特征结合起来，去探测更加复杂的内容。

5.搭建深层神经网络块

如上图所示，上半部分为前向传播的过程，下半部分为反向传播的过程。在前向传播中，a[l-1]作为输入，在参数w[l]和b[l]的作用下，输出a[l]并且缓存z[l]；在反向传播过程中，da[l]作为输入，在参数w[l]和b[l]的作用下，输出da[l-1]并且缓存dw[l]和db[l]。

如上图所示，为神经网络正向传播和反向传播的具体流程图，也为程序代码编写的逻辑图。

6. 前向传播与反向传播

反向传播公式（对代价函数求导，具体求导过程省略，此处直接给出结果）：

举例总结图：

7. 参数与超参数

超参数：例如学习率、隐藏层数、隐藏单元数、激活函数、momentum和mini batch等都可以称之为超参数，因为这些参数都最终决定着W和b。

深度学习笔记-吴恩达相关推荐

【深度学习】吴恩达深度学习-Course1神经网络与深度学习-第四周深度神经网络的关键概念编程（下）——深度神经网络用于图像分类：应用
在阅读这篇文章之前,请您先阅读:[深度学习]吴恩达深度学习-Course1神经网络与深度学习-第四周深度神经网络的关键概念编程(上)--一步步建立深度神经网络,这篇文章是本篇文章的前篇,没有前篇的基础 ...
深度学习基础----吴恩达课后编程练习（一）识别猫
目录前言一.数据预处理 1.加载数据 2.数据降维处理 3.标准化处理二.搭建神经网络 1.定义模型结构 2.初始化模型参数 3.循环迭代 3.1 计算当前的损失(正向传播) 3.2 计算当前的 ...
360题带你走进深度学习！吴恩达深度学习课程测试题中英对照版发布
吴恩达的深度学习课程(deepLearning.ai)是公认的入门深度学习的宝典,本站将课程的课后测试题进行了翻译,建议初学者学习.所有题目都翻译完毕,适合英文不好的同学学习. 主要翻译者:黄海广内 ...
吴恩达深度学习ppt_【深度学习】吴恩达谈深度学习：数据科学家需要知道这些...
数据科学家需要什么深度学习知识?吴恩达 (Andrew Ng)用机器看图说话,机器问答等实例告诉大家.本文是吴恩达在2015年12月在ExtractConf上的演讲摘录,含20分钟视频与ppt. An ...
3.12 总结-深度学习-Stanford吴恩达教授
←上一篇 ↓↑ 下一篇→ 3.11 随机初始化回到目录 4.1 深层神经网络文章目录总结习题第 21 题第 22 题第 23 题第 24 题第 25 题第 26 题第 27 题 ...
3.5 向量化实现的解释-深度学习-Stanford吴恩达教授
←上一篇 ↓↑ 下一篇→ 3.4 多个例子中的向量化回到目录 3.6 激活函数向量化实现的解释 (Explanation for Vectorized Implementation) 在上一个视频 ...
google lab 深度学习_吴恩达、李飞飞等化身超级英雄！深度学习漫画第一卷现已开源...
[新智元导读]深度学习版漫威来了!李飞飞发推称,在万圣节收到了一份意料之外的惊喜!在深度学习漫画的第一卷中,吴恩达.李飞飞.David Silver 纷纷化身超级英雄,发现他们面对着一个棘手的「救猫」 ...
【深度学习】吴恩达深度学习-Course3结构化机器学习项目-第一周机器学习（ML）策略(1)作业
题目仅含中文!! 视频链接:[中英字幕]吴恩达深度学习课程第三课 - 结构化机器学习项目参考链接: [中英][吴恩达课后测验]Course 3 - 结构化机器学习项目 - 第一周测验吴恩达< ...
2.19 总结-深度学习-Stanford吴恩达教授
←上一篇 ↓↑ 下一篇→ 2.18 Logistic 损失函数的解释回到目录 3.1 神经网络概览文章目录总结习题第 11 题第 12 题第 13 题第 14 题第 15 题第 1 ...
3.10 直观理解反向传播-深度学习-Stanford吴恩达教授
←上一篇 ↓↑ 下一篇→ 3.9 神经网络的梯度下降法回到目录 3.11 随机初始化直观理解反向传播 (Backpropagation Intuition (Optional)) 这个视频主要是推 ...

深度学习笔记-吴恩达