Pytorch项目打包和部署（1）——理论

2024-06-24 21:41:19

文章目录

一、什么是模型打包部署
二、模型打包部署的作用
三、学习模型打包部署的目的
四、模型部署语言
五、模型部署平台
六、模型部署设备
七、模型部署方式
八、模型部署接口（服务器部署）
九、模型部署相关工具
十、模型可视化

先上Pytorch官网：Pytorch
英伟达显卡总结：

一、什么是模型打包部署

模型打包就是把程序化的模块打包成一个能在指定平台上可执行文件。
Pytorch中的打包和调用方法：
torch.save()
torch.load()
模型部署就是将打包好的文件在指定的平台上进行部署实施，使其能够正常使用。

二、模型打包部署的作用

模型打包的作用就是将零散的程序块打包成一个整体的可行性文件，方便使用程序调用这个模型。

模型部署的作用就是方使非专业人士能够使用专业程序。

另外一个作用就是提高工作效率。

三、学习模型打包部署的目的

目的是将Pytorch中的模型打包成能够使用其他语言进行调用的模型。

明白部署人员的工作情况，方便和部署人员做工作交接。

算法工程师的职责：
1.搭建训练模型，并将模型转成pt文件；
2.做一份相关文档说明给部署人员：
开发环境、系统、python版本、pytorch版本、numpy版本等。

四、模型部署语言

C、C++、JAVA、Python、Go、Julia、其他语言

C\C++和Python区别：
（1）语言类型不一样：编译性、解释性
（2）C++执行效率快
（3）python跨平台
（4）开发效率python快（代码简单）

选C++的原因：
（1）C++执行效率快，Python耗费的硬件资源比较大
（2）安全性：Python会被反编译，C/C++不会被反编译

五、模型部署平台

Windows平台、Linus平台、Android平台、OS平台

六、模型部署设备

（1）PC端——SDK部署（开发包部署）
① .pt
② .onnx
③ TVM
（2）Server端（服务器）
① HTTP(flask)
② TCP/IP(socket)
（3）Mobil端（移动设置：IOS，Android）
① IOS
② Android
（4）IOT端（传感器、板卡：Android）
物联网设备：
① NVIDIA—jitson系列：
Inviada nano（很垃圾，800块左右）
TX系列：TX、TX2（5000左右）
AGX系列（仅达到1060卡的级别，几万块，但功耗低）

② 华为海思：3950
③ 瑞星微：rk3399（比TX2便宜，2000左右）
④ 树莓派（CPU在跑）
⑤ FPGA（介于程序和芯片之间的东西）

七、模型部署方式

（1）使用指定的编程语言（C/C++/JAVA）调用Libtorch在对应的平台（Windows/Linux）编写程序，然后直接部署。（libtorch安照c++11标准下写的）

（2）先使用Python在任意平台编写模型（跨平台），然后使用torch.jit.trace()将Python文件转成c++文件，最后使用save()方法打包成.pt文件，然后使用C/C++/JAVA或其他语言在其他平台上调用。

（3）将Python模型转换成onnx，再转成caffe，tenssorflow等其他框架的模型。（坑较多）

八、模型部署接口（服务器部署）

HTTP(flask)：BS架构（浏览器——服务器）
TCP/IP(socket)：CS架构（客户端——服务端）
百度easydl官网

九、模型部署相关工具

（1）clion/vs2017
（2）libtorch

十、模型可视化

（1）Tensorboard/tensorboardX安装与使用
pytorch建议安装tensorboardX；
如果安装tensorboard，版本是最新的，tensorflow版本较低，无法使用它了，只能降版本；
建议安装tensorboardX，不与tensorflow冲突
（2）visdom

Pytorch项目打包和部署（1）——理论相关推荐

spring项目搭建云服务器,Spring Boot项目打包并部署到云服务器
Spring Boot项目打包并部署到云服务器一.云服务器的环境 OS: CentOS 7 Jdk 1.8 Spring Boot自动集成Tomcat,不需要单独配置二.本地Spring Boot ...
SpringBoot 部署: 项目打包手动部署到阿里云服务器上
SpringBoot 部署: 项目打包 & 手动部署到阿里云服务器上文章目录 SpringBoot 部署: 项目打包 & 手动部署到阿里云服务器上前言正文 1. 环境准备 &am ...
Vue 学习笔记（4）Vue-cli4 项目搭建 + 目录结构 + 项目打包、部署
VueCLI 脚手架 Vue CLI 介绍 Vue CLI 安装 Node.js 环境准备安装 Vue 脚手架第一个 Vue 脚手架项目命令创建项目图形化界面创建项目 vue-cli4 目录结 ...
idea项目打包和部署
@TOC 1.关于端口在实际项目中,部署在不同IP地址的服务器上,所以可以删掉配置文件的关于不同端口的配置项目应该部署到同一个局域网的网段,且建议使用网络别名,否则一旦改变IP地址则容易出现问题 ...
JAVA 项目打包和部署一站式解决方案
文章目录一.场景描述二.打包方式场景方式一:常规 MAVEN 零散项目打包部署方式场景方式二:常规 MAVEN 集中项目打包部署方式场景方式三:借助 spring-boot 插件进行打包部署 ...
来自一枚rookie的项目开发——vite下的vue3+ts的项目打包及部署
Vite下Vue3.0+Typescript项目打包正常的打包操作 npm run build // package.json ..."scripts": {"dev& ...
vue项目打包后部署到服务器(超详细步骤)
耽误了几天, 终于开始写第二篇博客了, 这篇会讲怎么将vue项目打包部署到服务器, 其实和上一篇的uni-app步骤一样的, 就是最后多了一步修改nginx配置, 好 , 上操作一 ,打包项目 vs ...
记录第一次成功将vue项目打包并部署到centos云服务器上并访问(包含多个vue项目部署nginx配置说明)
文章目录准备 vue项目打包配置服务器使用xshell 使用xftp 当项目更新时操作小结准备 vscode:用于打包vue项目(需要提前安装好node与npm,推荐使用mvn管理node, ...
uniapp项目打包与部署云服务器
uniapp项目的打包第一步,在manifest里面配置好基础路径和端口然后进行发布,填好自己的云服务器域名打包成功后,项目在如图h5路径下,拿着h5文件的压缩包就可以去部署了第二步,你要有一 ...

最新文章

热门文章