tensorflow就该这么学－－5( 神经网络基础)

一、单个神经元

单个神经元输出时 y=w*x+b

1 、正向传播：输入数据，通过初始给定的参数w,b 计算出对应的函数值

2、反向传播：计算正向传播得到的函数值与真实标签之间的误差值，之后调整w,b

二、激活函数

主要解决模型表达能力不足的缺陷

常用的激活函数如下：

1、sigmoid y~[0,1] tf.nn.sigmoid(x,name=None)

2、tanh y~[-1,1] tf.nn.tanh(x,name=None)

3、relu y = max(0,x) tf.nn.relu(x,name=None)

三、softmax

判定输入某一类的概率大于其他类概率，那么这个类对应的函数值逼近1

四、损失函数

用于描述模型预测值和真实值的差距大小

常见的两种算法：

1、均值平方差如果输入是实数、无界的值

2、交叉熵输入的标签的位矢量

五、梯度下降

用于递归性逼近最小偏差模型，沿着梯度下降的方向求解最小值

1、常用方法：

批量梯度下降

随机梯度下降

小批量梯度下降

2、梯度下降函数

如：optimizer = tf.train.GradientDescentOptimizer(learning_rate)

模型的整个过程求导和反向传播操作都是在优化器里自动完成的

3、退化学习率

目的就是模型刚开始训练时使用大的学习率加快速度，训练到一定程度后使用小的学习率来提高精度

tensorflow就该这么学－－5( 神经网络基础)相关推荐

吴恩达的TensorFlow实践课上线，有Python基础就能听，4个月学完
晓查发自凹非寺量子位出品 | 公众号 QbitAI 吴恩达的deeplearning.ai上新了!新的AI课程叫做TensorFlow in Practice,面向那些希望学习使用Tensor ...
动手学深度学习PyTorch版-循环神经网络基础
循环神经网络基础从零开始实现循环神经网络 import torch import torch.nn as nn import time import math import sys sys.path ...
动手学深度学习-12 循环神经网络基础
循环神经网络基础循环神经网络从零开始实现循环神经网络我们先尝试从零开始实现一个基于字符级循环神经网络的语言模型,这里我们使用周杰伦的歌词作为语料,首先我们读入数据: import torch i ...
动手学深度学习(PyTorch实现)(六)--卷积神经网络基础
卷积神经网络基础 1. 二维卷积层 1.1 二维互相关运算 1.2 互相关运算与卷积运算 1.3 特征图与感受野 2. 填充与步幅 2.1 填充 2.2 步幅 3. 多通道 3.1 多输入通道 3.2 ...
pytorch卷积神经网络_知识干货-动手学深度学习(pytorch)-06 卷积神经网络基础
卷积神经网络基础本节我们介绍卷积神经网络的基础概念,主要是卷积层和池化层,并解释填充.步幅.输入通道和输出通道的含义. 二维卷积层本节介绍的是最常见的二维卷积层,常用于处理图像数据. 二维互相关运 ...
【阿里云课程】图神经网络基础：图的应用、表示与图卷积
大家好,继续更新有三AI与阿里天池联合推出的深度学习系列课程,本次更新内容为第9课中的一节,介绍如下: 图神经网络基础本次课程是阿里天池联合有三AI推出的深度学习系列课程第9期,讲述图神经网络,图的 ...
深度学习笔记第四门课卷积神经网络第一周卷积神经网络基础
本文是吴恩达老师的深度学习课程[1]笔记部分. 作者:黄海广[2] 主要编写人员:黄海广.林兴木(第四所有底稿,第五课第一二周,第三周前三节).祝彦森:(第三课所有底稿).贺志尧(第五课第三周底稿). ...
神经网络基础及逻辑回归实现
神经网络基础及逻辑回归实现 1. Logistic回归 1.1 Logistic回归逻辑回归是一个主要用于二分分类类的算法.逻辑回归是给定一个x , 输出一个该样本属于1对应类别的预测概率=P( ...
【赠书】图神经网络基础与前沿最新书籍，赠5本学习
假期快要到了,本次给大家赠送5本人工智能领域的技术书籍,这次赠送的书籍是<图神经网络基础与前沿>. 这是一本什么样的书图神经网络是近两年学术界的热点,在顶级会议上的文章越来越多.目前图像 ...
吴恩达深度学习笔记2-Course1-Week2【神经网络基础：损失函数、梯度下降】
神经网络基础:损失函数.梯度下降本篇以最简单的多个输入一个输出的1层神经网络为例,使用logistic regression讲解了神经网络的前向反向计算(forward/backward propa ...

tensorflow就该这么学－－5( 神经网络基础)

tensorflow就该这么学－－5( 神经网络基础)相关推荐

最新文章

热门文章