windows部署tensorflow serving

将包含编译成功的tensorflow_model_serving.exe的文件拷到目标机器，如D:\TFServing目录下。

增加运行时库

由于该文件是在windows下使用vs2019的msvc编译器编译完成，需要对应的运行时库的支持。通过测试，目前需要用到的库文件主要有

vcruntime140_1.dll
vcruntime140.dll
msvcp140.dll

将运行时库放入库文件搜索路径，C:\Windows\System32下即可。

修改模型配置文件

修改配置文件的路径，注意路径分隔符使用双反斜杠\\或者单正斜杠/。如

model_config_list:{config:{                        name:"model_state", base_path:"D:/TFServing/serving/tensorflow_serving/servables/tensorflow/testdata/multiModel/model_state",model_platform:"tensorflow"},    config:{      name:"model_ots",    base_path:"D:/TFServing/serving/tensorflow_serving/servables/tensorflow/testdata/multiModel/model_ots",model_platform:"tensorflow"}
}

仅适用于采用配置文件加载模型的情况。

命令行执行

通过win+R打开运行程序，输入cmd进入命令行窗口，进入文件所在目录，使用–model_base_path及–model_name分别指定单个模型的路径及模型名称，或使用–model_config_file指定配置文件（配置文件包含多个模型的路径及文件名），如

//切换磁盘
C:\Users\byzantine>D:
//进入指定目录
D:\>cd TFServing
//执行命令,使用配置文件
D:\TFServing>tensorflow_model_server.exe --modle_config_file=D:\TFServing\model\multiModel\model.config --rest_api_port=8501
//指定单个文件
//D:\TFServing>tensorflow_model_server.exe --model_base_path=D:\TFServing\saved_model_half_plus_two_cpu --model_name=half_plus_two --rest_api_port=8501

当屏幕上呈现如下输出表示服务已正常开启

...
2021-10-13 16:21:11.190345: I tensorflow_serving/core/loader_harness.cc:87] Successfully loaded servable version {name: half_plus_two version: 123}
2021-10-13 16:21:11.192614: I tensorflow_serving/model_servers/server_core.cc:486] Finished adding/updating models
2021-10-13 16:21:11.192739: I tensorflow_serving/model_servers/server.cc:133] Using InsecureServerCredentials
2021-10-13 16:21:11.192771: I tensorflow_serving/model_servers/server.cc:383] Profiler service is enabled
2021-10-13 16:21:11.195258: I tensorflow_serving/model_servers/server.cc:409] Running gRPC ModelServer at 0.0.0.0:8500 ...
[evhttp_server.cc : 249] NET_LOG: Entering the event loop ...
2021-10-13 16:21:11.197798: I tensorflow_serving/model_servers/server.cc:430] Exporting HTTP/REST API at:localhost:8501 ...

可通过客户端进行后续测试。

windows部署tensorflow serving相关推荐

用Docker部署TensorFlow Serving服务
文章目录 1. 安装 Docker 2. 使用 Docker 部署 3. 请求服务 3.1 手写数字例子 3.2 猫狗分类例子参考: https://tf.wiki/zh_hans/deployme ...
tf.saved_model.save模型导出、TensorFlow Serving模型部署、TensorBoard中的HParams 超参数调优
日萌社人工智能AI:Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战(不定时更新) 4.11 综合案例:模型导出与部署学习目标目标掌握Ten ...
TensorFlow Serving 尝尝鲜
2019独角兽企业重金招聘Python工程师标准>>> 作者:Mao Chan BitTiger尊重原创版权,转载已经过作者授权. 2016年,机器学习在 Alpha Go 与李世石 ...
基于TensorFlow Serving的深度学习在线预估
一.前言随着深度学习在图像.语言.广告点击率预估等各个领域不断发展,很多团队开始探索深度学习技术在业务层面的实践与应用.而在广告CTR预估方面,新模型也是层出不穷: Wide and Deep[1] ...
【Keras】TensorFlow Serving
当我们将模型训练完毕后,往往需要将模型在生产环境中部署.最常见的方式,是在服务器上提供一个 API,即客户机向服务器的某个 API 发送特定格式的请求,服务器收到请求数据后通过模型进行计算,并返回结果 ...
Win10 基于Docker使用tensorflow serving部署模型
目录安装Docker for Windows 安装 tensorflow-serving-api tensorflow serving on docker 测试tf server 方法3:grpc ...
tensorflow从入门到精通100讲（六）-在TensorFlow Serving/Docker中做keras 模型部署
前言不知道大家研究过没有,tensorflow模型有三种保存方式: 训练时我们会一般会将模型保存成:checkpoint文件为了方便python,C++或者其他语言部署你的模型,你可以将模型保存成 ...
TensorFlow Serving + Docker + Tornado机器学习模型生产级快速部署
点击上方"AI搞事情"关注我们内容转载自知乎:https://zhuanlan.zhihu.com/p/52096200 Justin ho 〉本文将会介绍使用TensorFl ...
使用tensorflow serving部署keras模型（tensorflow 2.0.0）
点击上方"AI搞事情"关注我们内容转载自知乎:https://zhuanlan.zhihu.com/p/96917543 Justin ho 〉 Tensorflow 2.0.0 ...
Tensorflow Serving部署tensorflow、keras模型详解
写在篇前本篇介绍如何使用Tensorflow Serving组件导出训练好的Tensorflow模型,并使用标准tensorflow model server来部署深度学习模型预测服务.tens ...

windows部署tensorflow serving

增加运行时库

修改模型配置文件

命令行执行

windows部署tensorflow serving相关推荐

最新文章

热门文章