tensorflow量化策略详解

第一种，混合量化--仅量化权重

该方式将浮点型的权重量化为int8整型，可将模型大小直接减少75%、提升推理速度最大3倍。该方式在推理的过程中，需要将int8量化值反量化为浮点型后再进行计算，如果某些Ops不支持int8整型量化，那么其保存的权重依然是浮点型的，即部分支持int8量化的Ops其权重保存为int8整型且存在quantize和dequantize操作，否则依然是浮点型的，因而称该方式为混合量化。该方式可达到近乎全整型量化的效果，但存在quantize和dequantize操作其速度依然不够理想

第二种，全整型量化--权重和激活值都进行量化

该方式则试图将权重、激活值及输入值均全部做int8量化，并且将所有模型运算操作置于int8下进行执行，以达到最好的量化效果。为了达到此目的，我们需要一个具有代表性的小数据集，用于统计激活值和输入值等的浮点型范围，以便进行精准量化。

全整型量化的输入输出依然是浮点型的，但如果某些Ops未实现该方法，则转化是没问题的且其依然会自动保存为浮点型

tensorflow量化策略详解相关推荐

Incremental-Network-Quantization增量网络量化论文详解
Incremental-Network-Quantization增量网络量化论文详解笔者将从以下几个方面分析该论文的原理及其实现,由于笔者能力有限,如有错误望诸公指正. 论文作者代码:https:/ ...
Spring Data JPA 从入门到精通~Naming命名策略详解及其实践
Naming 命名策略详解及其实践用 JPA 离不开 @Entity 实体,我都知道实体里面有字段映射,而字段映射的方法有两种: 显式命名:在映射配置时,设置的数据库表名.列名等,就是进行显式命名, ...
CentOS7下的软件安装方法及策略详解
CentOS7下的软件安装方法及策略详解互联网 01-24 15:15:09 作者:佚名我要评论今天小编为大家带来的是CentOS7下的软件安装方法及策略详解:希望对大家安装Cent ...
Tensorflow安装教程详解（图文详解，深度好文）
Tensorflow安装教程详解(图文详解,深度好文) 前言安装前的准备工作关于python 关于Anaconda 开始使用Tensorflow 系统内配置Anaconda使用路径 Anacond ...
Firewalld防火墙策略详解
Firewalld防火墙策略详解一.Firewalld firewalld防火墙是Centos7系统默认的防火墙管理工具,取代了之前的iptables防火墙,也是工作在网络层,属于包过滤防火墙. f ...
Iptables防火墙策略详解
Iptables防火墙策略详解一.iptables Linux 系统的防火墙--netfilter/iptables IP信息包过滤系统,它实际上由两个组件netfilter 和 iptables组 ...
Redis的淘汰策略详解
接上一篇Redis的过期策略详解 Redis的过期策略详解所谓的淘汰策略就是: 我们redis中的数据都没有过期,但是内存有大小,所以我们得淘汰一些没有过期的数据!! 那么怎么去淘汰了,我们上一篇讲 ...
【数字图像处理】三.MFC实现图像灰度、采样和量化功能详解
本文主要讲述基于VC++6.0 MFC图像处理的应用知识,主要结合自己大三所学课程<数字图像处理>及课件进行讲解,主要通过MFC单文档视图实现显示BMP格式图片,并通过Bitmap进行灰度 ...
Java多线程之线程池7大参数、底层工作原理、拒绝策略详解
Java多线程之线程池7大参数详解目录企业面试题线程池7大参数源码线程池7大参数详解底层工作原理详解线程池的4种拒绝策略理论简介面试的坑:线程池实际中使用哪一个? 1. 企业面试题蚂蚁 ...

tensorflow量化策略详解

tensorflow量化策略详解相关推荐

最新文章

热门文章