深度学习(炼丹)心法
代码搜寻网站:
The latest in Machine Learning | Papers With Code
代码局部展示:
carbon.now.sh/
坎坷之路第一弹
血泪教训:
先刷土堆的视频,土堆,永远的神,然后再去看深度学习的书籍效果会更好,比如Pytorch,《动手学深度学习》等
——先入门,再琢磨
总况:
深度学习属于机器学习的分支,里面包含卷积神经网络(CNN),循环神经网络(RNN),全连接神经网络,实现这几种网络需要框架(也可以理解为库),拿卷积神经网络来看,里面存在卷积运算,卷积核(滤波器)的参数刚开始是随机的,但随着不断的反馈,loss的不断降低,卷积核的参数不断优化,这些参数就是识得的经验,也即通过这个参数来进行一个函数的拟合,从而实现建模。
Attention:搭建的网络是有输入和输出尺寸的要求的,因此会有一些前置步骤
迁移学习:
现在已经存在很多预训练好的流行的深度学习网络,我们可以针对自己的需求,对预训练好的网络进行微调或者特征提取,从而快速完成自己的任务。要注意,即使是不同的模型,也可以使用迁移学习,比如语义分割与分类模型的主干部分,就可以使用同一个预训练好的参数。
对于特征提取中经常用到的冻结训练可以如下理解:预训练模型参数冻结后,怎么更新,不需要更新,因为这就是已经比较好适应特征的参数了,现在你的模型处于初始阶段,不能让它影响到了好的参数,因此需要冻结
有两张图对于微调和特征提取的表示十分清楚明晰。
本质:
你的模型经过不断地调整以适应当前数据集,所以其最优表现大概率是在你的数据集上,这样来看,神经网络的泛化性能并不好,而举办那么那么多的比赛,其目的还是追求在已知的条件下,哪种模型对未知的东西预判性能更好。
所谓玄学:
神经网络经过不断地尝试调参之后,得到了一个不错的结果,给这个结果赋予一个好的故事,一切就都结束,但是这些都是发展过程中必不可少的阶段,正是因为有了实验上积累起来的量变,才会有将来的质变,你我皆是耕耘人。
损失函数(调参的目标之一):
如果损失函数具有评估意义的话,需要看数值和收敛性。如果没有评估意义的损失函数,只需要看其收敛性即可。仅仅有损失函数一个指标并不可信,在这个过程中,你还需要有其他的评估指标对模型性能进行评价,因此,在保证损失函数符合要求的情况下,让其他评估指标尽可能小。
调参(炼丹大法):
超参数调优第一弹:batch_size(模型的输入一般仅和你的图片大小,即长宽,以及图片深度有关,和网络模型的输入数量可以不一致,主要适合你的计算机性能就好,当然它也会影响你得模型效果)
超参数调优第二弹,然后调整学习率(可以使用自适应算法,使学习率随着批次不断调整)
超参数调优第三弹,调整优化器,优化器里面有一些参数可以调(其中就包括学习率)
调优终弹,调整模型,可以选择一些优秀论文中经常采取的模型架构,比如最近几年出的UNET
听说这个挺不错,但我还没来得及看:google-research/tuning_playbook: A playbook for systematically maximizing the performance of deep learning models. (github.com)
深度学习(炼丹)心法相关推荐
- anaconda中怎么sh_【好工具】 深度学习炼丹,你怎么能少了这款工具!JupyterLab 远程访问指南...
欢迎来到[好工具]专栏,本次我们给介绍一款可以进行远程深度学习炼丹的工具 JupyterLab 及其配置流程,帮助读者在本地进行调试,Max 开发效率. 作者 & 编辑 | Leong 导言 ...
- 深度学习“炼丹”难?三分钟带你了解国产丹炉旷视天元
自从炼丹界推出新丹药"深度学习",各大炼丹世家(Google, Facebook, Microsoft)不惜重金招纳炼丹贤士.优秀的炼丹师一师难求,上古炼丹世家Google曾发布英 ...
- 谷歌大脑深度学习炼丹指南出炉,Hinton点赞!
编辑 | 机器之心 点击下方卡片,关注"自动驾驶之心"公众号 ADAS巨卷干货,即可获取 点击进入→自动驾驶之心[全栈算法]技术交流群 「大量的实践经验已被提炼成这份强大的深度学习 ...
- 深度学习炼丹-超参数设定和模型训练
前言 网络层内在参数 使用 3x3 卷积 使用 cbr 组合 尝试不同的权重初始化方法 图片尺寸与数据增强 batch size 设定 背景知识 batch size 定义 选择合适大小的 batch ...
- 深度学习炼丹-不平衡样本的处理
目录 前言 一,数据层面处理方法 1.1,数据扩充 1.2,数据(重)采样 数据采样方法总结 1.3,类别平衡采样 二,算法(损失函数)层面处理方法 2.1,Focal Loss 2.2,损失函数加权
- 深度学习炼丹-数据增强
一,数据增强概述 二,opencv 图像增强-几何变换 三,pytorch 图像增强 四,imgaug 图像增强 参考资料 一,数据增强概述 数据增强(也叫数据扩增)的目的是为了扩充数据和提升模型的泛 ...
- 深度学习炼丹-数据标准化
前言 一般机器学习任务其工作流程可总结为如下所示 pipeline. 在工业界,数据预处理步骤对模型精度的提高的发挥着重要作用.对于机器学习任务来说,广泛的数据预处理一般有四个阶段(视觉任务一般只需 ...
- 还说不会深度学习,三招帮你“炼丹”成功
深度学习领域发展仍是火热朝天,众多方向门派百花齐放,CV和NLP领域一直是高手云集,Transformer最近异军突起,卷起一片波澜,其他众多领域,包括:迁移学习.强化学习.集成学习等,也有着各派的掌 ...
- 道友请留步,且看PaddlePaddle入手深度学习成为一名炼丹师
目录 道友请留步 求道初体验 金丹大道修炼秘籍 1 道友请留步 要做神仙,快乐无边.点石成金,驾鹤飞仙! 从<封神演义>到<西游记>,中国的神话传说满足了我们对宇宙的浪漫憧憬和 ...
- 深度学习 end2end
end2end的意思在不同人看来有不同理解,但是作为程序员/深度学习炼丹娃,应当理解为:至少是从处理过的图像-->最终目标结果(比如分类结果.检测结果.分割结果等)的一个流程,也就是起码把原来的 ...
最新文章
- mysql kingshard 扩容_mysql中间件之kingshard
- Nginx技术研究系列7-Azure环境中Nginx高可用性和部署架构设计
- php分析图片中水印的位置,关于ThinkPHP打水印及设置水印位置的分析
- 从Linux终端管理进程:10个你必须知道的命令
- div不继承父类样式_Java三大特性之继承
- WPFのDecorator 、Adorner和AdornerDecorator
- Java设计模式之观察者模式(发布-订阅模式)
- su室内插件_SketchUp必学插件TOP100,每一个都是[室内/装饰/景观]设计的效率神器...
- 易用宝项目记录day8-Excel的导入导出
- 王者荣耀高清壁纸下载(多线程、详细解析)
- 物联卡先用流量包还是套餐流量,物联卡流量扣除顺序是什么?
- 【论文笔记】Learning from Multiple Cities: A Meta-Learning Approach for Spatial-Temporal Prediction
- WPF自定义日期时间控件
- 同事写的SpringBoot代码不需要Controller、Service、DAO?只因为用了这个工具
- 数据结构课程设计银行储蓄系统
- 给幼儿园小朋友看的网络安全扫盲篇
- 缺少计算机所需的介质程序,安装Win10显示缺少计算机所需的介质驱动程序的解决办法...
- 搬家准备哪些东西搬家怎么打包?搬家攻略赶紧收藏!
- 我在华为的一次面试经历
- C#语言入门详解13-19
热门文章
- 使用Python和Jenkins REST API获取git changes信息
- npm运行报错:token < in JSON at position 1 while parsing near
- importNew的好文章
- [转载]打工辛酸路:我是一朵飘零的花之82
- [免费专栏] ATTACK安全之检测车机中ADB远程调试控制Android系统攻击
- IDEA彻底删除项目
- 达芬奇系列DSP——CCS_V5安装技术文档
- PB powerbuilder程序设计中的尺度单位PBU
- 戴尔官网季末清仓低至1919元,下单再赠中秋礼品卡
- 漫画:从诗词大会飞花令到ElasticSearch原理解析