CS231n 计算机视觉（学习笔记）第七章（0809）

第七章

7.1 Fancier optimization

SGD存在问题：

在不同方向上抖动
局部极小值/鞍点
随机梯度，时间成本

Nesterov优化：

在SGD中加入一个动量（一个速度）
将梯度加入到这个速度上
具有速度的梯度下降将更加稳定，且能通过鞍点
velocity+gradient=actual step
速度是关于旧速度、梯度、摩擦系数的一个变量

AdaGrad：

优化过程中，保持一个在训练过程中，每一个梯度平方和的估计
每次调整，除以这个平方和
问题是，当时间增大，步长将越来越小
在凸函数时表现很好

RMSProp

优化过程中，保持一个在训练过程中，每一个梯度平方和的估计
训练过程中，让平方梯度逐步下降

Adam：优秀

结合上米娜的两种方法，动量和平方梯度
由于对第一第二动量的初始化，初始步长会很大
一旦参数初始化值不合适，本次尝试将会很难收敛
为了避免，加入偏置矫正项，当前时间步 t

//学习率衰减为二阶超参数
//二阶优化（牛顿步长、海森矩阵）

以上：减少训练误差、最小化目标函数
模型集成and so on

7.2 Regularization

目的：提高单一模型的

CS231n 计算机视觉（学习笔记）第七章（0809）相关推荐

Effective C++ 学习笔记第七章：模板与泛型编程
第一章见 Effective C++ 学习笔记第一章:让自己习惯 C++ 第二章见 Effective C++ 学习笔记第二章:构造.析构.赋值运算第三章见 Effective C++ 学习笔记 ...
《Go语言圣经》学习笔记第七章接口
<Go语言圣经>学习笔记第七章接口目录接口是合约接口类型实现接口的条件 flag.Value接口接口值 sort.Interface接口 http.Handle接口 erro ...
吴恩达机器学习学习笔记第七章：逻辑回归
分类Classification分为正类和负类 (规定谁是正谁是负无所谓) 吴恩达老师举例几个例子:判断邮箱是否是垃圾邮箱一个在线交易是否是诈骗一个肿瘤是良性的还是恶性如果我们用之前学习的lin ...
【机器学习-周志华】学习笔记-第七章
记录第一遍没看懂的记录觉得有用的其他章节: 第一章第三章第五章第六章第七章第八章 ...
DSP原理学习笔记--第七章--增强直接存储器访问(EDMA)
第七章增强直接存储器访问(EDMA) 第七章增强直接存储器访问(EDMA) DMA 数据传输 EDMA的特点 EDMA控制器的结构 EDMA传输中的术语 EDMA传输方式同步事件 EDMA通道与 ...
java学习笔记-第七章：面向对象编程（基础部分）
第七章:面向对象编程(基础部分) 总体内容类与对象引出类与对象类与对象概述类与对象的关系示意图属性概念及其细节类与对象快速入门案例对象内存布局类与对象内存分配机制引申:java内存的 ...
第一行代码学习笔记第七章——探究内容提供器
知识点目录 7.1 内容提供器简介 7.2 运行权限 * 7.2.1 Android权限机制详解 * 7.2.2 在程序运行时申请权限 7.3 访问其他程序中的数据 * 7.3.1 ContentRe ...
【计算机三级】网路技术学习笔记第七章路由器配置及使用
计算机三级网络技术七.路由器配置及使用考点(一):路由器的结构 1.路由器的基本概念路由器是工作在网络层的设备,负责将数据分组,从源端主机经最佳路径传送到目的端主机实现在网络层的互联. 2.路由 ...
《机器学习实战》学习笔记第七章 —— AdaBoost元算法
主要内容: 一.提升方法与AdaBoost算法的简介二.AdaBoost算法三.代码解释一.提升方法与AdaBoost算法的简介 1.提升方法:从弱学习算法出发,反复学习,得到一系列弱分类器(又 ...
最优化方法(学习笔记)-第七章统计估计
Statistical estimation Logistic 回归-二分类整体分类思路最大化似然函数最大似然估计MLE 带独立同分布噪音的线性测量模型 viv_ivi是高斯分布 viv_iv ...

CS231n 计算机视觉（学习笔记）第七章（0809）

第七章

7.1 Fancier optimization

7.2 Regularization

CS231n 计算机视觉（学习笔记）第七章（0809）相关推荐

最新文章

热门文章