深度学习深理解(八)- 结构化机器学习项目
总结一下今天的学习过程
昨天由于装双系统，耽误了一天，打断这周暂时学习结束吴恩达老师的前三部分的课程（因为后期两部分没有开课）
幸运的是，今天学习比较努力 哈哈哈，将计划两天的课程今天一天学习完了
机器学习的策略：
- 收集更多的数据
- 增加训练集的多样性
- 增加使用梯度下降法的训练时间
- 尝试其他优化算法：比如Adam算法等
- 扩大或者缩小神经网络的规模
- 尝试dropout或者L2正则化
- 修改神经网络的架构：如激活函数、隐藏单元的数目、层数等
正交化
- 在训练集上表现不错，损失函数最小：4,5
- 在开发集有很好的表现：1,6
- 在测试集上有很好的表现：由于过拟合了，需要更大的开发集
- 在开发集或者测试集上有很好的表现：改变开发集或者改变成本函数
设置一个单实数评估指标
- 查准率
- 查全率
- FI score：调和平均数
训练集、开发集、测试集的设置
- 开发集和测试集来自于统一分布
- 使用开发集+单实数评估指标来固定目标
- 训练集则会影响逼近的速度
- 规模：
- 早起：100~10000:7/3或者6/2/2
- 现在：100万：98/1/1
- 测试集的目的：评估投产系统的性能，足够大，能以高置信度评估系统整体性能
可避免的偏差、方差、误差
偏差：训练集与人类误差偏大
办法：
- 训练更大的网络
- 更长时间得网络
- 更好的优化算法
- 改成RNN、CNN
- 更好的神经网络架构
方差：训练集中抽取的开发集表现不好
办法：
- 正则化：L2正则化、Dropout正则化
- 数据增强
- 不同的神经网络架构
误差：开发集表现不好
办法：
- 收集更多的错误例子
- 手动检测，查看各个分类造成错误的比例
- 尝试了解训练集和开发测试集的具体差异
- 将训练集变得更像开发集、测试集
拟合程度：测试集表现不好
快速搭建一个深度学习系统
- 设立开发集合测试集还有评估指标
- 搭好一个机器学习系统模型，进行训练、迭代，查看算法表现、评估指标表现
- 进行偏差分析、方差分析、误差分析、确定下一步优化前进方向
- 将你要关注的数据分布作为开发集和测试集
迁移学习
神经网络可以从一个任务中习得知识、或者部分知识、并将这些知识应用到另一个独立的任务中
做法：将最后一层的输出以及相关权重w、b删除。重新生成一层或者几层输入输出，如果数据量大，就将前面的权重一起重新生成
作用：用更少的数据，将一些能力能做其他应用中做的更好、更快，比如：低层次的特征：边缘检测、曲线检测、阳性对象检测、结构信息、图形形状信息、图形识别、学到的点、线、面等
意义：
- 在A、B有同样的类型数据时，比如音频、图像等，想从任务A中学习并迁移一下知识到到任务B中
- A比B数据多
- A中的低层次特征可以帮助B的学习
多任务学习：并行的
同时开始学习，试图让单个神经网络同时做几件事情，然后希望是每个任务都能帮助其他所有任务
例如在无人驾驶领域
与softmax不同：softmax是将单个标签分配给单个样本
意义：
- 训练一组任务，可以共用低层次特征
- 每个任务的数据量很接近
- 你可以训练一个足够大的神经网络，同时做好所有工作
端到端的学习
优点：
真的只是让数据说话
所需手工设计的组件更少
缺点：
需要大量的数据
排除了可能有用的手工设计的组件
访谈：
CS231n课程等一些我现在只能听听看看而不知道涵义的名词
美好的一天，明天加油！
深度学习深理解(八)- 结构化机器学习项目相关推荐
- 深度学习（三）结构化机器学习项目-机器学习策略2 -Andrew Ng
一.机器学习策略(2) 1.1 进行误差分析 如果你希望让学习算法能够胜任人类能做的任务,但你的学习算法还没有达到人类的表现,那么人工检查一下你的算法犯的错误也许可以让你了解接下来应该做什么.这个过 ...
- 深度学习笔记第三门课 结构化机器学习项目 第一周 机器学习（ML）策略（1）...
本文是吴恩达老师的深度学习课程[1]笔记部分. 作者:黄海广[2] 主要编写人员:黄海广.林兴木(第四所有底稿,第五课第一二周,第三周前三节).祝彦森:(第三课所有底稿).贺志尧(第五课第三周底稿). ...
- 0.0 目录-深度学习第三课《结构化机器学习项目》-Stanford吴恩达教授
文章目录 第五课 第四课 第三课 第二课 第一课 第五课 <序列模型> 笔记列表 Week 1 循环序列模型 Week 1 传送门 -> 1.1 为什么选择序列模型 1.2 数学符号 ...
- 【深度学习】吴恩达深度学习-Course3结构化机器学习项目-第一周机器学习（ML）策略(1)作业
题目仅含中文!! 视频链接:[中英字幕]吴恩达深度学习课程第三课 - 结构化机器学习项目 参考链接: [中英][吴恩达课后测验]Course 3 - 结构化机器学习项目 - 第一周测验 吴恩达< ...
- 吴恩达深度学习笔记——结构化机器学习项目（Structuring Machine Learning Projects）
深度学习笔记导航 前言 传送门 结构化机器学习项目(Machine Learning Strategy) 机器学习策略概述 正交化(orthogonalization) 评价指标 数字评估指标的单一性 ...
- 吴恩达深度学习 | (15) 结构化机器学习项目专项课程第二周学习笔记
课程视频 第二周PPT汇总 吴恩达深度学习专项课程共分为五个部分,本篇博客将介绍第三部分结构化机器学习项目专项的第二周课程:机器学习(ML)策略(2) . 目录 1. 进行误差分析 2. 清除标注错误 ...
- 大数据深度学习下的车辆结构化——明景车辆结构化分析
大数据深度学习下的车辆结构化--明景车辆结构化分析 车辆全特征结构化识别技术是计算机人工智能.图像处理.计算机视觉.模式识别等相关技术的综合应用.目前涉车涉驾案件的快速增长,以及车辆结构化.智慧城市应 ...
- 花书+吴恩达深度学习（二三）结构化概率模型（贝叶斯网络、马尔可夫随机场）
文章目录 0. 前言 1. 有向模型 2. 无向模型 3. 因子图 4. 分离和d-分离 5. 从图模型中采样 如果这篇文章对你有一点小小的帮助,请给个关注,点个赞喔,我会非常开心的~ 花书+吴恩达深 ...
- 【中英】【吴恩达课后测验】Course 3 -结构化机器学习项目 - 第二周测验
[中英][吴恩达课后测验]Course 3 -结构化机器学习项目 - 第二周测验 - 自动驾驶(案例研究) 上一篇:[课程3 - 第一周测验]※※※※※ [回到目录]※※※※※下一篇:[课程4 -第一 ...
最新文章
- MacroMedia FreeHand中文版
- 学习构建WDF驱动程序 - 初步了解SOURCE和makefile文件
- 支付宝的架构到底有多牛逼？还没看完我就跪了！
- Linux交叉编译+粤嵌LCD实现三色图
- 戴尔服务器哪1顶型号好,戴尔PowerEdge R730xd新一代服务器评测
- 卷积神经网络 第三周作业 Keras+-+Tutorial+-+Happy+House+v1
- 2021-06-21属性选择器
- 经典C语言学习教程资料
- (转)贝莱德，从0到6万亿
- PS 考试案例 01笔记
- Isilon旧机器重新初始化
- 5G在智慧农业中的实践和探索
- 【Android工具】音频频率发生器，声音测试，音响测试，各种频率声音合成工具...
- vue通过自定义指令 v-py 将名字转拼音
- 【英语】为什么老外说的我们听不懂？
- LabVIEW基础-内存优化
- ext3格式化成ext4
- 数值分析-题目3-龙贝格和高斯求解牛顿迭代节点
- js算某天是今年的第几天
- Kotlin学习——了解Kotlin