openVino +windows+GPU/CPU 运行_2 ( FP16和FP32差距)

继续上一篇帖子。其实我想写的东西实在的是太多了。所以会写的比较慢。

1.关于FP16和FP32.

一直以来我以为FP16只针对神经棒使用，CPU和GPU应该是使用FP32.但是我查了相关信息后，发现FP16在GPU环境下运行更为完美。FP32在GPU上反而更慢。

2.执行结果的差异：

FP16概率有时候会低于FP32.但是概率低到可以忽略不计，我这个是计算人是否蹲下来。上面是FP32的概率，下面是富婆16的概率。

同一个模型，不管在CPU和GPU识别结果是一致的。

可以看到0.713和0.712.这个差距几乎可以忽略。而且很多的识别概率dou

3.关于GPU和CPU的消耗

我之前安装事GPU后面安装的CPU.可以看到他是呼应起来的。GPU用的多CPU用的少。CPU用的多，GPU用的少。

不过相对于tensorflow上英伟达的GPU使用率。实在太低了。英伟达的GPU使用率是98%

4.所使用的时间

不同电脑其实答案是不同的。我只能拿我自己的电脑做总结。大家就不要以我的为参考啦。

CPU:Intel Core i7-7700T CPU 2.90GHz
GPU: Intel HD Graphics 630

视频总长度 1分52秒每秒25帧约2800帧。

速度：GPU使用FP16模型<CPU使用FP32模型<GPU使用FP32模型.

每帧耗费时间：18ms<20ms<24ms

openVino +windows+GPU/CPU 运行_2 ( FP16和FP32差距)相关推荐

win10,win11 下部署Vicuna-7B，Vicuna-13B模型，gpu cpu运行
运行Vicuna-7B需要RAM>30GB或者14GB的显存运行Vicuna-13B需要RAM>60GB或者28GB的显存如果没有上面的硬件配置请绕行了,我笔记本有64G内存,两个都跑 ...
TF之Windows：Windows系统下设置Tensorflow运行方式为GPU加速运行的详细攻略
TF之Windows:Windows系统下设置Tensorflow运行方式为GPU加速运行的详细攻略目录软件环境 1.第一步安装好CUDA软件程序 2.第二步安装好tensorflow-gpu库 ...
windows怎么用gpu跑python程序_在GPU（windows）上运行Theano的命令
我使用的代码from theano import function, config, shared, sandbox import theano.tensor as T import numpy im ...
CentOS查看显卡及GPU相关信息,指定GPU、CPU运行
一.查看信息在一套标准的系统上通常有多个计算设备. TensorFlow 支持 CPU 和 GPU 这两种设备. 我们用指定字符串 strings 来标识这些设备. 比如: "/cpu:0 ...
Windows 系统上查询 GPU / CPU 对 Vulkan 的支持信息
Windows 系统上查询 GPU / CPU 对 Vulkan 的支持信息 1 TechPowerUp GPU-Z https://www.techpowerup.com/gpuz/ GPU-Z i ...
Nvidia GPU 入门教程之 03 在 GPU 上运行 Python 脚本,对比cpu与gpu性能，检测a100性能（教程含源码）
GPU 的内核比 CPU 多,因此在数据的并行计算方面,GPU 的性能比 CPU 好得多,尽管 GPU 的时钟速度较低,并且与 CPU 相比缺乏几个内核管理功能. 因此,在 GPU 上运行 pytho ...
【openVINO+paddle】CPU部署新冠肺炎CT图像分类识别与病害分割
[openVINO+paddle]CPU部署新冠肺炎CT图像分类识别与病害分割在这个项目中是我在看到一位大佬代码生成器的项目文章时想要尝试开发的一个项目.主要是想要在飞桨上通过Cla与Seg(分类和 ...
直播分享|邓文彬：如何在GPU/CPU/移动端高效训练和推断CNN网络
| 极市线上分享第35期 | ➤活动信息主题:如何在GPU/CPU/移动端高效训练CNN网络 (看TEE AI算力棒在计算机视觉训练和推断的最新突破) 时间:本周四(11月15日)晚20:00~2 ...
云服务器运行gpu程序很卡,请问怎样才使程序在GPU上运行?
看你设置的epoch和服务器的性能,你这个应该是每一步大概2s,自己可以计算下大概耗时 | | m13021933043 邮箱:m13021933043@163.com | Signature is ...

openVino +windows+GPU/CPU 运行_2 ( FP16和FP32差距)

openVino +windows+GPU/CPU 运行_2 ( FP16和FP32差距)相关推荐

最新文章

热门文章