学习内容

这是第二次看机器学习的内容，所以这里主要记录的是让我印象深刻的知识点；
但是有两个问题：

deep？ 为什么不是越深越好？
fat？ 为什么要套娃，我们只需要将多个sigmoid并排不就好了吗？因为我需要的就是y = constant + sum（蓝线）

深度学习的类别

输入可以是当前的特征；各种条件；

回归：函数输出一个标量；
分类：给出一堆类别，函数需要根据某个物体的所有特征输出它属于的一个标签；
比如垃圾邮件；阿尔法go
Structured learning：学会创造某些东西（image、document）

1. Function with Unknown Parameters

后面我们会以这个例子作为示例；
比如某个频道的Youtube流量；而该流量是由前面所有的流量决定的；

Function = Model
feature = 表示我们已经知道的东西（在这里指的是前面有的每天的观看人数）；
weight = w

2. Define Loss from Training Data

就是我们给出参数后，查看这些参数的效果是不是好！
也就是看真实值和估值的差距；

3.Optimization

问题1：为什么学习率在训练的时候要调整？

因为刚开始时一般远离最优点，所以刚开始的时候我们要选择较大的学习率，后面再调整学习率，所以会有随着epoch值改变的动态学习率；

问题2：为什么loss有些时候是负的？

因为你斜率一定的时候，跨度大了，必然会有负的；

问题3：学习率是啥？
就是梯度前面的东西；

问题4：两个参数怎么更新呢？

梯度是可以帮助你自动计算的；

问题5： sigmoid为什么是三个？
一般而言，sigmoid的个数越多，那么效果就会越好；
一个sigmoid表示的就是一个蓝色折线，那么多个sigmoid就会使得无限接近于原来的数值（beyond precise function），也就会出现过拟合！

问题6：为什么是sigmoid，不能是hard sigmoid？
当然可以，只要你能写出来！

问题7：hyperparameter有哪些？
学习率（步长么）、几个sigmoid、batchsize也是；

改进函数第一次（线性化）

函数的改进都源于你对这个问题的理解；
比如我们要预测观看学习视频的人数，我们可以把它想想为一个线性回归问题，类似于y = b + kx；
其中x表示前一天的观看人数，而y表示的隔天的观看人数，b是偏差（这里x不是天数，星期一、星期二等）；
但是呢，某一天的观看人数不能仅仅是通过前一天来决定，每一天的权重应该是不一样的，周一到周五权重应该会更大，而周六和周天权重会降低，所以我们做出第一次改进，ki，i=1…7；但是我们可能认为7不够，应该是一个月，那么i = 1…31；

这里，我们的x特征就是七天的观测量，最终得到隔天的观测人数。这是得到的特征的权重。 ### Linear Curves 简单的y = b + kx是解决不了问题的； #### 1. Piecewise Linear Curve 我们要表示红色的直线，那么很显然使用简单的直线的是不行的，那么我们可以使用① + ② + ③得到红色的曲线； #### 2. Beyond Piecewise Linear? 那么问题来了，如何表示曲线呢？曲线就是直线的无限接近，所以我们可以无限将曲线划分即可；

3. sigmoid的由来与应用

sigmoid就是一个可以表示各个函数的框架！

3.1 sigmoid的由来

我们通过c、b和w来定义出这个曲线，从而模拟蓝色的function；
我们可以将e取消，那么就是

而上面的蓝色function就是hard sigmoid！我们可以通过改变w、b和c来获得不同的曲线。

3.2 sigmoid的应用

前面已经知道了sigmoid可以代表各个直线或者是曲线，只需要改变中间的w和b即可，所以我们怎么表示我们的模型呢？那么就是将上面的〇 + ①、②和③用sigmoid来替代；

总结： sigmoid就是一个可以表示各个函数的框架！上图中$c_{i}$、$b_{i}$、$w_{i}$是选择性的，它们的不同可以构造不同的蓝色的function，那么不同的function叠加起来就可以制造出不同的红色的curves，就可以制造出不同piecewise linear，各种continuous 的function；

改进函数第二次（神经网络）

由于我们上面已经得到了多个特征表示，每天一个特征表示（也就是观看的人数），所以放入sigmoid中，那么就会得到上图下面的式子；
特别注意的是，这里的WijW_{ij}Wij是wi和wj的结合体，内外参数也就是其实是两个参数，所以才会有Wij。

全连接网络BP

这里我们去j： 1,2，3； i：1,2，3；也就是取前三天、并且设立三个sigmoid（三个函数）；
这里的W1jW_{1j}W1j表示的是第一个sigmoid函数里面的三个特征值的权重值；

计算r向量

计算a向量

y = constant + sum（蓝线）

参数更新

参数：注意这里两个b是不一样的，里面的b是一个向量，外面的b是一个值；
我们将所有的参数都列出来concat为一个向量θ\thetaθ

Loss: 就是预测值和gt的误差；

优化器：和前面的一样，都是学习率 * 梯度来更新参数；
参数的初始化是不一样的！我们初始化得到θ0\theta^{0}θ0，而下标表示的是第几个参数。
其中倒三角的意思是梯度向量。

4. Update（SGD（小批量梯度下降））

Update 和 Epoch是不一样的！
原数据库为N，每个Batch有batch_size的大小，我们的参数的Update是在经历每次batch后进行更新的。而所有的batch都进行了一次了就可以称为是一个epoch，所以在一个epoch中有多次Update，共N/batch_size次参数更新；

激活函数

激活函数 = 函数框架
它可以有很多种替代，其中sigmoid只是其中之一；比如下面的ReLU；

ReLU：如果 0 > (b + wx1)那么，就输出0；
两个ReLU相加就是一个hard sigmoid！

改进模型第三次（多个激活函数）

一般而言，sigmoid的个数越多，那么效果就会越好；
一个sigmoid表示的就是一个蓝色折线，那么多个sigmoid就会使得无限接近于原来的数值（beyond precise function），也就会出现过拟合！

改进模型第四次（多个layer）套娃

如上图所示，我们将上一个激活函数后的a当作特征再次放入到下一个激活函数（增加了新的参数），那么就叫做加layer

深度学习（deep = hidden layer）

激活函数就是neural network！但是我们将它命名为layer！ deep = hidden layer，就是深度学习！

所以才会有层数越来越多！网络也越来越深！ AlexNet、GoogleNet、Residual Network、Taipei等等；
但是深度不是越深越好，不仅会出现过拟合，也会出现效果越来越差的情况。

但是有两个问题：
为什么不是越深越好？
为什么要套娃，我们只需要将多个sigmoid并排不就好了吗？

overfitting

在训练集上更好，但是在测试集上效果反而差了，这就叫做过拟合！

李宏毅机器学习（一）基本概念介绍相关推荐

【李宏毅机器学习】01：机器学习介绍 Introduction
李宏毅机器学习01:机器学习介绍 Introduction 文章目录李宏毅机器学习01:机器学习介绍 Introduction 一.机器学习步骤二.机器学习框架三.机器学习学习地图 (一)Lea ...
【李宏毅机器学习2021】Task04 深度学习介绍和反向传播机制
[李宏毅机器学习2021]本系列是针对datawhale<李宏毅机器学习-2022 10月>的学习笔记.本次是对深度学习介绍和反向传播机制的学习总结.本节针对上节课内容,对batch.梯度 ...
【李宏毅机器学习2021】Task01 机器学习介绍
[李宏毅机器学习2021]本系列是针对datawhale<李宏毅机器学习-2022>的学习笔记.本次是对机器学习介绍的学习总结.本节通过学习视频了解到李老师对机器学习课程的整体安排,介绍了 ...
李宏毅机器学习课程学习笔记（1）——机器学习基本概念
机器学习基本概念介绍让机器具备寻找一个所需函数的能力--两大任务 Regression回归回归预测 Classification分类判断是否符合要求:True/Flase Structured ...
【李宏毅机器学习】Basic Concept 基础概念（p4）学习笔记
李宏毅机器学习学习笔记汇总课程链接 Review 越复杂的model,在testing data上的error未必越低. error来自两个地方: bias variance f_star是f_ha ...
你离开学只差这个视频：李宏毅机器学习2020版正式开放上线
机器之心报道参与:思.Jamin 2020 年的机器学习和过去有一些不一样的地方:首先,这一门课增加了很多作业. 台大李宏毅老师的机器学习课程可以说是最具代表性的中文公开课之一,已成为大量国内初学者 ...
【经典课程】李宏毅机器学习2020版正式上线！！！
关注上方"深度学习技术前沿",选择"星标公众号", 资源干货,第一时间送达! 本文转自:机器之心 2020 年的机器学习和过去有一些不一样的地方:首先,这一门课 ...
喜大普奔：Datawhale开源项目《李宏毅机器学习完整笔记》发布了！
开源地址 https://github.com/datawhalechina/leeml-notes [导读]关于机器学习的学习资料从经典书籍.免费公开课到开源项目应有尽有,可谓是太丰富啦,给学习者提 ...
李宏毅机器学习完整笔记发布，AI界「最热视频博主」中文课程笔记全开源
点上方"小詹学Python",选择"置顶公众号"第一时间获取干货分享!本文转自:Datawhale 提起李宏毅老师,熟悉机器学习的读者朋友一定不会陌生.很多人选 ...
视频+笔记+能够跑通的代码，《李宏毅机器学习完整笔记》发布！
点击我爱计算机视觉标星,更快获取CVML新技术 [导读]关于机器学习的学习资料从经典书籍.免费公开课到开源项目应有尽有,可谓是太丰富啦,给学习者提供了极大的便利.但网上比比皆是的学习资料大部分都是英文 ...

李宏毅机器学习（一）基本概念介绍