有关easyDL的浅析（资料集合）

在EasyDL的服务端，有下面几种核心技术：AI Workflow分布式引擎，百度自创PaddlePaddle深度学习框架，迁移学习，Auto Model Search机制， early stoopping机制，模型效果评估机制。下面来一一了解一下。

对于一个DL建模，大致工作流程如下：

（1）在数据仓库提取数据

（2）ETL*进行数据清洗，特征提取，验证集的切分

（3）分布式训练

（4）模型评估

（5）自动服务（auto serving）

大数据经典3V原则

迁移学习（transfer learning）*

迁移学习(Transfer learning) 顾名思义就是就是把已学训练好的模型参数迁移到新的模型来帮助新模型训练。考虑到大部分数据或任务是存在相关性的，所以通过迁移学习我们可以将已经学到的模型参数（也可理解为模型学到的知识）通过某种方式来分享给新模型从而加快并优化模型的学习效率不用像大多数网络那样从零学习（starting from scratch，tabula rasa）。举个栗子，做中草药识别模型时，EasyDL会将已有的植物识别模型运用到中草药识别当中去：将百度大规模标注的数据集在深度神经网络上做预训练，将预训练参数加入神经网络中做调解（迁移学习），从而大大提高效率。这样可以将几十个小时的训练降低到几小时甚至几分钟量级。此外，EasyDL还支持多点预训练，持续闭环等机制，使得工作流实现配置化和自动化。

EasyDL还使用了Auto Model Search 和 Early stopping机制，让少两样本就能有用高精度。Auto Model Search就是对模型结构和超参数做自动搜索，更好匹配不同类型数据，做最佳模型。而early stopping呢，能够降低过拟合风险。做过DL的同学应该都有体会，DL是能分分钟过拟合的，对于这种风险，early stopping能很好抑制过拟合和欠拟合。目前EasyDL的模型绝大多数准确率都在80%以上。

载录自https://blog.csdn.net/weixin_39965890/article/details/81139638

若有侵权请联系删除。

有关easyDL的浅析（资料集合）相关推荐

Java入力项目无法设定到form_html中关于form与表单提交操作的资料集合
原标题:html中关于form与表单提交操作的资料集合这里我们介绍一下form元素与表单提交方面的知识. form元素 form元素的DOM接口是HTMLFormElement,继承自HTMLEle ...
WebRTC各种资料集合（WebRtc入门必看）
WebRTC各种资料集合 javascript frameworks Video chat: https://github.com/andyet/SimpleWebRTC https://githu ...
1024程序员节最新福利之2018最全java资料集合
前言有好久没有写博客了,主要这段时间都沉迷学习无法自拔了,哈哈.自吹一波. 前两天不是1024节吗,所以就有很多福利出现了,当然每个人能都获得的信息都有所不同,这就是所谓的信息差.秉着好东西需要分享 ...
Android资料集合
如果本文帮助到你,本人不胜荣幸,如果浪费了你的时间,本人深感抱歉. 如果有什么错误,请一定指出,以免误导大家.也误导我. 本文来自:www.jianshu.com/users/320f9- 感谢您的关 ...
最强Dot Net教程资料集合
资源类型:RAR 资源大小:18GB 视频名称:<最强Dot Net教程资料集合> 视频简介: 视频信息: 资源类型:RAR 资源大小:18GB 视频名称:<最强Dot Net教程资 ...
《最强Dot Net教程资料集合》[转自VeryCD]
下面是用户共享的文件列表,安装eMule后,您可以点击这些文件名进行下载 [最强Dot.Net教程资料集合].LearnKey.Asp.Net-Part1CD1.ISO 详情 435.8MB [最强D ...
机器学习(Machine Learning)深度学习(Deep Learning)资料集合
机器学习(Machine Learning)&深度学习(Deep Learning)资料原文链接:https://github.com/ty4z2008/Qix/blob/master/dl ...
安卓音频处理相关资料集合贴
## 1 音频处理基础知识 ### 1.1 文件格式和编码之间的关系首先需要说明的是,文件格式和编码之间的关系如同碗与烹饪手法之间的关系. 文件格式只代表一个容器,这个容器可以包含视频或者音频,以及 ...
iOS 学习视频资料集合（视频 +博客）
转载:https://blog.csdn.net/yst19910702/article/details/78809472 无意间在网上发现一些学习资源,分享下.资源主要是一些视频资源和博客网站.这些 ...

有关easyDL的浅析（资料集合）

有关easyDL的浅析（资料集合）相关推荐

最新文章

热门文章