监督学习简介

文章目录

监督学习简介
前言
一、监督学习常见应用
二、基础知识
- 1.数据类型
- 2.学习次序
- 3.常用符号
- 4.二分分类（logistics）
- 5.梯度下降法
- 6.导数和流程图（略）
- 7.logistics中的梯度下降
- 7.向量化的必要性
- 8.向量化的logistics
总结

前言

学习的第一天

一、监督学习常见应用

输入	输出	应用	类别
房子特色	房价	房地产	Stand NN
广告	广告点击	网络广告	Stand NN
图像	目标（1,……，n）	图像目标	CNN
音频	转文字	文字识别	RNN
英语	中文	机器翻译	RNNs
图像、雷达信息	汽车位置	自动驾驶	hybrid neural network

二、基础知识

1.数据类型

结构化数据	非结构化数据
表格式的数据	如图像、文本、声音

2.学习次序

week	content
1	介绍
2	神经网络程序基础
3	单隐层神经网络
4	多层神经网络

3.常用符号

功能	矩阵大小
训练集输入	X.shape=(n,m)
训练集标签	Y.shape=(1,m )
训练集	{(x₁,y₁),……(x_m,y_m)}
矩阵维数	R
训练集	M_train
测试集	M_test
第i个集合	xⁱ或yⁱ……

4.二分分类（logistics）

借用sigmoid函数：

第一种表示（本课程使用）：

第二种表示：

损失函数
（越小越好）
非凸：

本文使用：

成本函数

5.梯度下降法

从某一点开始，从最陡峭的那个坡往下走。（dw于程序中表示导数名）

6.导数和流程图（略）

7.logistics中的梯度下降

先算出dL/da，然后算出da/dz=a（1-a），从而得到dL/dz

再由dz/dw得到dL/dw

7.向量化的必要性

import numpy as np
import timea=np.random.rand(1000000)#生成随机数
b=np.random.rand(1000000)tic=time.time()#计时
c=np.dot(a,b)#点乘
toc=time.time()print("array time is:"+str(1000*(toc-tic))+"ms")#输出+类似js的字符串合并+强制类型转换c=0
tic=time.time()#计时
for i in range(1000000):#循环c+=a[i]*b[i]
toc=time.time()print("loop time is:"+str(1000*(toc-tic))+"ms")

array time is:2.9914379119873047ms loop time is:365.05675315856934ms

相量比循环快了一百二十多倍（其实我在用MATLAB时就知道了），再用MATLAB试一试

a=rand(1,1000000);
b=rand(1,1000000);tic
c=a.*b;
toc*1000tic
for i=1:1000000c(i)=a(i)*b(i);
end
toc*1000

ans = 8.179100000000000 ans = 23.912500000000001 可见用数组，python快于MATLAB，而用循环，MATLAB明显快于python

8.向量化的logistics

python和MATLAB都有“广播”功能，也就是当数组和实数相加时，会自动将实数扩展为数组。
python:

import numpy as np#已知训练集x(n*m)，标签Y(m*1)，以及初始的w(1*n)，b(1*1)，训练次数N，学习率a
for i in range(N):z=np.dot(w.T,x)+bA=1/(1+np.exp(-z))dz=A-Ydw=1/m*x*dz.Tdb=1/m*np.sum(dz)w:=w-a*dwb:=b-a*db

MATLAB:

%已知训练集x(n*m)，标签Y(m*1)，以及初始的w(1*n)，b(1*1)，训练次数n，学习率a
for i=1:Nz=w*x+b;A=1./(1+exp(-z));dz=A-Y;dw=1/m*x*dz';db=1/m*sum(dz);w=w-a*dw';b=b-a*db;
end

总结

我会继续努力的

吴恩达深度学习笔记【1】相关推荐

吴恩达深度学习笔记（四）
吴恩达深度学习笔记(四) 卷积神经网络CNN-第二版卷积神经网络深度卷积网络:实例探究目标检测特殊应用:人脸识别和神经风格转换卷积神经网络编程作业卷积神经网络CNN-第二版卷积神经网络 ...
799页！吴恩达深度学习笔记.PDF
吴恩达深度学习课程,是公认的最优秀的深度学习课程之一,目前没有教材,只有视频,本文提供完整笔记下载,这本笔记非常适合和深度学习入门. 0.导语黄海广博士和同学将吴恩达老师深度学习视频课程做了完整的笔 ...
吴恩达深度学习笔记——卷积神经网络（Convolutional Neural Networks）
深度学习笔记导航前言传送门卷积神经网络(Convolutional Neural Networks) 卷积神经网络基础(Foundations of Convolutional Neural N ...
吴恩达深度学习笔记——神经网络与深度学习（Neural Networks and Deep Learning）
文章目录前言传送门神经网络与深度学习(Neural Networks and Deep Learning) 绪论梯度下降法与二分逻辑回归(Gradient Descend and Logist ...
吴恩达深度学习笔记——结构化机器学习项目（Structuring Machine Learning Projects）
深度学习笔记导航前言传送门结构化机器学习项目(Machine Learning Strategy) 机器学习策略概述正交化(orthogonalization) 评价指标数字评估指标的单一性 ...
吴恩达深度学习笔记1-Course1-Week1【深度学习概论】
2018.5.7 吴恩达深度学习视频教程网址网易云课堂:https://mooc.study.163.com/smartSpec/detail/1001319001.htm Coursera:htt ...
吴恩达深度学习笔记（四）—— 正则化
有关正则化的详细内容: 吴恩达机器学习笔记(三) -- Regularization正则化 <机器学习实战>学习笔记第五章 -- Logistic回归主要内容: 一.无正则化二.L2正 ...
吴恩达深度学习笔记_Github标星过万的吴恩达机器学习、深度学习课程笔记，《统计学习方法》代码实现，可以在线阅读了！...
吴恩达机器学习.深度学习,李航老师<统计学习方法>,可以说是机器学习入门的宝典.本文推荐一个网站"机器学习初学者",把以上资源的笔记.代码实现做成了网页版,可以在线阅读 ...
吴恩达--深度学习笔记
这是一个督促自己学习的笔记文章目录这是一个督促自己学习的笔记 1.logistic回归 1. 神经网络基础----二分分类 2. logistic回归 3. logistic回归损失函数 4. 梯 ...
吴恩达深度学习笔记- lesson4 卷积神经网络
文章目录 Week 1 卷积神经网络基础 4.1.1 计算机视觉(Computer vision) 4.1.2 边缘检测示例(Edge detection example) 4.1.3 更多边缘检测内 ...

吴恩达深度学习笔记【1】