0359-模型训练和部署-Iris数据集

温馨提示：如果使用电脑查看图片不清晰，可以使用手机打开文章单击文中的图片放大查看高清原图。
Fayson的github：
https://github.com/fayson/cdhproject
提示：代码块部分可以左右滑动查看噢

1.文档编写目的

在前面的文章Fayson介绍了关于《CDSW1.4的新功能》、《Hadoop之上的模型训练 - CDSW1.4新功能模块》、《CDSW1.4的Experiments功能使用》、《Hadoop之上的模型部署 - CDSW1.4新功能模块》及《CDSW1.4的Models功能-创建和部署模型(QuickStart)》。本篇文章Fayson会使用CDSW内置的Python模板项目来引导完成端到端的实操示例，即包含从模型创建，训练到部署或投产。我们使用CDSW的实验模块来开发和训练模型，然后使用模型模块的功能来进行部署。

此示例使用Fisher and Anderson的标准Iris数据集构建一个模型，该模型根据花瓣的长度预测花瓣的宽度。

Fisher and Anderson参考：

https://onlinelibrary.wiley.com/doi/abs/10.1111/j.1469-1809.1936.tb02137.x

Iris数据集参考：

https://archive.ics.uci.edu/ml/datasets/iris

内容概述

1.创建项目

2.训练模型

3.部署模型

4.总结

测试环境说明

1.CM和CDH版本为5.15

2.CDSW版本为1.4

3.操作系统为RedHat7.4

2.创建示例工程

1.你可以在CDSW打包的Pyton模板项目中找到这个示例脚本。首先，从Python模板创建一个新项目：登录CDSW平台创建一个Python模板的工程

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ffkFs8UY-1583680890037)(https://ask.qcloudimg.com/http-save/yehe-1522219/chus9c313s.png)]

工程创建成功，进入工程目录列表

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-dWddMVtu-1583680890038)(https://ask.qcloudimg.com/http-save/yehe-1522219/hrmqf3p3ls.jpeg)]

cdsw-build.sh：主要用于模型和实验构建的自定义脚本，在部署模型和试验是会使用pip命令安装我们指定的依赖项，这里主要使用到scikit-learn库。

fit.py：作为试验的模型训练示例。生成包含模型拟合参数的model.pkl文件。

predict.py：作为模型部署的示例函数。调用fit.py生成的model.pkl来预测花瓣宽度。

3.训练模型

1.进入test-models工程点击“Experiments”，进入该工程的试验列表

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-tKyKrwqO-1583680890039)(https://ask.qcloudimg.com/http-save/yehe-1522219/hltihmw6it.jpeg)]

2.点击“Run Experiment”，使用fit.py创建一个Experiment

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-zt8m6WuP-1583680890040)(https://ask.qcloudimg.com/http-save/yehe-1522219/osvaxmmtbt.jpeg)]

注意：确保使用Python3环境运行。

3.点击“Start Run”，新的实验在列表中显示，点击实验ID进入查看详细，可以看到实验概述，点击Session和Build可以看到实时的查看实验的构建及运行进度

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-XE4zg0Ur-1583680890040)(https://ask.qcloudimg.com/http-save/yehe-1522219/7sd30cl2lu.jpeg)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-mHiDNAi0-1583680890040)(https://ask.qcloudimg.com/http-save/yehe-1522219/4o0xl10yei.jpeg)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-0qeQiFPP-1583680890041)(https://ask.qcloudimg.com/http-save/yehe-1522219/67ui7163w4.jpeg)]

4.等待实验运行成功，在Overview界面可以看到该实验输出的model.pkl文件

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-MpG1SEld-1583680890041)(https://ask.qcloudimg.com/http-save/yehe-1522219/dlkq4vzf3p.jpeg)]

勾选model.pkl，点击“Add to Project”将生成的model.pkl文件添加到我们的test-models工程里。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-qUx5wAv1-1583680890042)(https://ask.qcloudimg.com/http-save/yehe-1522219/8fr3x9dvxv.jpeg)]

4.部署模型

我们使用predict.py脚本来部署模型，该脚本中包含了predict函数，花瓣长度为该函数输入参数，并使用上一步训练的模型来预测花瓣的宽度。

1.进入test-models工程页面，点击“Models”

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-P01Eyeyb-1583680890042)(https://ask.qcloudimg.com/http-save/yehe-1522219/ks58gxyhn7.jpeg)]

2.点击“New Model”创建一个新的Model，确保使用Python3环境运行

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-DHM3BV2o-1583680890043)(https://ask.qcloudimg.com/http-save/yehe-1522219/8f7amxpli4.jpeg)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-yiEshDpt-1583680890043)(https://ask.qcloudimg.com/http-save/yehe-1522219/ehcdmmdc0m.jpeg)]

3.点击“Deploy Model”

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-WN1hGAAT-1583680890044)(https://ask.qcloudimg.com/http-save/yehe-1522219/l85vggsupo.jpeg)]

在Models列表可以看到刚部署的模型状态为Pending状态，等待Model部署成功

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-4JKtNKF6-1583680890044)(https://ask.qcloudimg.com/http-save/yehe-1522219/mhw1l6filj.jpeg)]

4.点击“test-model”进入模型部署的详细界面，包含模型的部署，构建，监控以及设置等模块

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-UusQkYcA-1583680890044)(https://ask.qcloudimg.com/http-save/yehe-1522219/ug5ljcfrao.jpeg)]

Overview界面还提供了Model功能测试

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-tbCYJAUg-1583680890045)(https://ask.qcloudimg.com/http-save/yehe-1522219/6is6t37iks.jpeg)]

5.提供了API接口调用模型，同时也提供了Python和R调用示例代码，如下Fayson在命令行测试：

curl -H "Content-Type: application/json" -X POST http://cdh05.fayson.com/api/altus-ds-1/models/call-model -d '{"accessKey":"mrsqqfchljq5n1sp24r12ab4byai2uzh","request":{"petal_length":5.4}}'

（可左右滑动）

参考：

https://www.cloudera.com/documentation/data-science-workbench/latest/topics/cdsw_models_examples.html

提示：代码块部分可以左右滑动查看噢
为天地立心，为生民立命，为往圣继绝学，为万世开太平。
温馨提示：如果使用电脑查看图片不清晰，可以使用手机打开文章单击文中的图片放大查看高清原图。

0359-模型训练和部署-Iris数据集相关推荐

yolov3模型训练并部署到K210(零基础也可）
1.yolov3模型训练 2.部署到K210 文章有点长,是因为很细节. 首先建一个新文件夹(要以英文命名)再在文件夹中建如下两个文件夹(images是用来放原照片的,xml是用来放标志后的照片的). ...
【PaddleDetection】基于PaddleDetection的齿轮瑕疵检测：从模型训练到部署中的那些坑
目录 0 题目简介 1 Baseline项目的本地化 1.1 飞桨环境配置飞桨安装注意事项 1.2 PaddleDetection安装 PaddleDetection注意事项 1.3 数据集下载与配 ...
轻量化实时语义分割LiteSeg——从算法原理到模型训练与部署
前言 1 . LiteSeg 是实时语义分割算法,论文参见 :DICTA 2019 LiteSeg: A Novel Lightweight ConvNet for Semantic Segmenta ...
bert中文分类模型训练+推理+部署
文章预览: 0. bert简介 1. bert结构 1. bert中文分类模型训练 1 下载bert项目代码代码结构 2 下载中文预训练模型 3 制作中文训练数据集 2. bert模型推理 1.te ...
无需一行代码，完成模型训练和部署，这个AI工具开始公测
本文转载自淘系技术,文末附官网下载链接. 阿里巴巴淘系技术开源轻量级深度学习推理引擎 MNN 以来,得到了业界的普遍认可 -- 数十家企业成为 MNN 的用户,不乏有一线科技企业:此外,MNN 还与上 ...
训练代码_无需一行代码，完成模型训练和部署，这个AI工具开始公测
本文转载自淘系技术,文末附官网下载链接. 阿里巴巴淘系技术开源轻量级深度学习推理引擎 MNN 以来,得到了业界的普遍认可 -- 数十家企业成为 MNN 的用户,不乏有一线科技企业:此外,MNN 还与上 ...
TensorFlow入门教程：8：训练数据之Iris数据集
Irises,闻名于世的不只是梵高那副价值超过5000万美元的鸢尾花,同时还有Iris数据集. Iris数据集由英国统计学家/生物学家Ronald Fisher在1936年所收集,共包含150条数据, ...
嵌入式AI-K210篇-硬件-模型训练、部署
K210的其他参数如下: 双核 64-bit RISC-V RV64IMAFDC (RV64GC) CPU / 400MHz(可超频到600MHz) 双精度 FPU 8MiB 64bit 片上 SRA ...
RKNN模型训练转换部署
1. 背景做了一个手机版本的人流量计数,显然不能最终真实环境实施,因为数据集不够,并且硬件还需要搭载其他设备,所以使用的是安卓工控机,但推理速度非常慢,接近500ms,换一个好的CPU,比如3568 ...

0359-模型训练和部署-Iris数据集

0359-模型训练和部署-Iris数据集相关推荐

最新文章

热门文章