caffe模型weightsfeatureMap 可视化(c++)
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/qq_14845119/article/details/74931602
caffe模型在训练完成后,会生成一个*.caffemodel的文件,在运行的时候,直接调用caffe就可以读取其中的相应权值参数。但是如果用一个第三方软件打开这个,却是不可以可视化的二值乱码。
将模型中的参数导出,可编辑化后能有哪些好处呢,
(1)方便进行fpga平台的移植
(2)可以基于别人训练好的模型,0数据训练自己的模型,使用自己的模型拟合别人模型的权值分布,达到用模型训模型的目的。
(3)可以对网络进行剪支,加速等操作。
将模型中的特征图和权值可视化有哪些好处呢,
(1)方便对卷积网络的特征有所了解,训练好的特征总是有规则的特征图,可以侧面辅助训练过程。
这里分析lenet5这样的网络结构,所有其他网络都通用。
核心程序:
(1)只导出weights,不进行显示
void parse_caffemodel(string caffemodel, string outtxt)
{
printf("%s\n", caffemodel.c_str());
NetParameter net;
bool success = loadCaffemodel(caffemodel.c_str(), &net);
if (!success){
printf("读取错误啦:%s\n", caffemodel.c_str());
return;
}
FILE* fmodel = fopen(outtxt.c_str(), "wb");
for (int i = 0; i < net.layer_size(); ++i){
LayerParameter& param = *net.mutable_layer(i);
int n = param.mutable_blobs()->size();
if (n){
const BlobProto& blob = param.blobs(0);
printf("layer: %s weight(%d)", param.name().c_str(), blob.data_size());
fprintf(fmodel, "\nlayer: %s weight(%d)\n", param.name().c_str(), blob.data_size());
writeData(fmodel, blob.data().data(), blob.data_size());
if (n > 1){
const BlobProto& bais = param.blobs(1);
printf(" bais(%d)", bais.data_size());
fprintf(fmodel, "\nlayer: %s bais(%d)\n", param.name().c_str(), bais.data_size());
writeData(fmodel, bais.data().data(), bais.data_size());
}
printf("\n");
}
}
fclose(fmodel);
}
(2)weights可视化
cv::Mat visualize_weights(string prototxt, string caffemodel, int weights_layer_num)
{
::google::InitGoogleLogging("0");
#ifdef CPU_ONLY
Caffe::set_mode(Caffe::CPU);
#else
Caffe::set_mode(Caffe::GPU);
#endif
Net<float> net(prototxt, TEST);
net.CopyTrainedLayersFrom(caffemodel);
vector<shared_ptr<Blob<float> > > params = net.params();
std::cout << "各层参数的维度信息为:\n";
for (int i = 0; i<params.size(); ++i)
std::cout << params[i]->shape_string() << std::endl;
int width = params[weights_layer_num]->shape(3); //宽度
int height = params[weights_layer_num]->shape(2); //高度
int channel = params[weights_layer_num]->shape(1); //通道数
int num = params[weights_layer_num]->shape(0); //个数
int imgHeight = (int)(1 + sqrt(num))*height;
int imgWidth = (int)(1 + sqrt(num))*width;
Mat img(imgHeight, imgWidth, CV_8UC3, Scalar(0, 0, 0));
float maxValue = -1000, minValue = 10000;
const float* tmpValue = params[weights_layer_num]->cpu_data();
for (int i = 0; i<params[weights_layer_num]->count(); i++){
maxValue = std::max(maxValue, tmpValue[i]);
minValue = std::min(minValue, tmpValue[i]);
}
int kk = 0;
for (int y = 0; y<imgHeight; y += height){
for (int x = 0; x<imgWidth; x += width){
if (kk >= num)
continue;
Mat roi = img(Rect(x, y, width, height));
for (int i = 0; i<height; i++){
for (int j = 0; j<width; j++){
for (int k = 0; k<channel; k++){
float value = params[weights_layer_num]->data_at(kk, k, i, j);
roi.at<Vec3b>(i, j)[k] = (value - minValue) / (maxValue - minValue) * 255; }
}
}
++kk;
}
}
return img;
}
(3)featuremap可视化
cv::Mat Classifier::visualize_featuremap(const cv::Mat& img,string layer_name)
{
Blob<float>* input_layer = net_->input_blobs()[0];
input_layer->Reshape(1, num_channels_, input_geometry_.height, input_geometry_.width);
net_->Reshape();
std::vector<cv::Mat> input_channels;
WrapInputLayer(&input_channels);
Preprocess(img, &input_channels);
net_->Forward();
std::cout << "网络中的Blobs名称为:\n";
vector<shared_ptr<Blob<float> > > blobs = net_->blobs();
vector<string> blob_names = net_->blob_names();
std::cout << blobs.size() << " " << blob_names.size() << std::endl;
for (int i = 0; i<blobs.size(); i++){
std::cout << blob_names[i] << " " << blobs[i]->shape_string() << std::endl;
}
std::cout << std::endl;
assert(net_->has_blob(layer_name));
shared_ptr<Blob<float> > conv1Blob = net_->blob_by_name(layer_name);
std::cout << "测试图片的特征响应图的形状信息为:" << conv1Blob->shape_string() << std::endl;
float maxValue = -10000000, minValue = 10000000;
const float* tmpValue = conv1Blob->cpu_data();
for (int i = 0; i<conv1Blob->count(); i++){
maxValue = std::max(maxValue, tmpValue[i]);
minValue = std::min(minValue, tmpValue[i]);
}
int width = conv1Blob->shape(3); //响应图的高度
int height = conv1Blob->shape(2); //响应图的宽度
int channel = conv1Blob->shape(1); //通道数
int num = conv1Blob->shape(0); //个数
int imgHeight = (int)(1 + sqrt(channel))*height;
int imgWidth = (int)(1 + sqrt(channel))*width;
cv::Mat img(imgHeight, imgWidth, CV_8UC1, cv::Scalar(0));
int kk = 0;
for (int x = 0; x<imgHeight; x += height){
for (int y = 0; y<imgWidth; y += width){
if (kk >= channel)
continue;
cv::Mat roi = img(cv::Rect(y, x, width, height));
for (int i = 0; i<height; i++){
for (int j = 0; j<width; j++){
float value = conv1Blob->data_at(0, kk, i, j);
roi.at<uchar>(i, j) = (value - minValue) / (maxValue - minValue) * 255;
}
}
kk++;
}
}
return img;
}
运行结果:
(1)
string caffemodel = "lenet_iter_10000.caffemodel";;
string outtxt = "lenet.txt";
parse_caffemodel(caffemodel, outtxt);
(2)
string prototxt = "lenet.prototxt";
string caffemodel = "lenet_iter_10000.caffemodel";
int weights_layer_num = 0;
Mat image=visualize_weights(prototxt, caffemodel, weights_layer_num);
imshow("weights", image);
waitKey(0);
(3)
::google::InitGoogleLogging(argv[0]);
string model_file = "lenet.prototxt";
string trained_file = "lenet_iter_10000.caffemodel";
Classifier classifier(model_file, trained_file);
string file = "5.jpg";
cv::Mat img = cv::imread(file, -1);
CHECK(!img.empty()) << "Unable to decode image " << file;
cv::Mat feature_map = classifier.visualize_featuremap(img,"conv2");
imshow("feature_map", feature_map);
cv::waitKey(0);
将权值导入matlab中,可以看到权值基本都是服从均值为0,方差很小的分布。
完整程序下载链接:http://download.csdn.net/detail/qq_14845119/9895412
caffe模型weightsfeatureMap 可视化(c++)相关推荐
- 使用netron对TensorFlow、Pytorch、Keras、PaddlePaddle、MXNet、Caffe、ONNX、UFF、TNN、ncnn、OpenVINO等模型的可视化
欢迎大家关注笔者,你的关注是我持续更博的最大动力 原创文章,转载告知,盗版必究 使用netron对TensorFlow.Pytorch.Keras.PaddlePaddle.MXNet.Caffe.O ...
- 可视化caffe模型结构及在线可视化
在线可视化caffe模型结构 http://ethereon.github.io/netscope/#/editor 假设Caffe的目录是$(CAFFE_ROOT) 1.编译caffe的python ...
- caffe模型文件解析_「机器学习」截取caffe模型中的某层
通常情况下,训练好的caffe模型包含两个文件: prototxt:网络结构描述文件,存储了整个网络的图结构: caffemodel:权重文件,存储了模型权重的相关参数和具体信息 对于某些大型的网络, ...
- 【超详细】MMLab分类任务mmclassification:环境配置说明、训练、预测及模型结果可视化展示
本文详细介绍了使用MMLab的mmclassification进行分类任务的环境配置.训练与预测流程. 目录 文件配置说明 下载源码 配置文件 基于预训练模型微调或者续训练自己模型的方式 配置文件说明 ...
- python使用matplotlib对比多个模型在测试集上的效果并可视化、设置模型性能可视化结果柱状图(bar plot)标签的小数点位数(例如,强制柱状图标签0.7显示为两位小数0.70)
python使用matplotlib对比多个模型在测试集上的效果并可视化.设置模型性能可视化结果柱状图(bar plot)标签的小数点位数(例如,强制柱状图标签0.7显示为两位小数0.70) 目录
- 为多模型寻找模型最优参数、多模型交叉验证、可视化、指标计算、多模型对比可视化(系数图、误差图、混淆矩阵、校正曲线、ROC曲线、AUC、Accuracy、特异度、灵敏度、PPV、NPV)、结果数据保存
使用randomsearchcv为多个模型寻找模型最优参数.多模型交叉验证.可视化.指标计算.多模型对比可视化(系数图.误差图.classification_report.混淆矩阵.校正曲线.ROC曲 ...
- R语言构建文本分类模型:文本数据预处理、构建词袋模型(bag of words)、构建xgboost文本分类模型、xgboost模型预测推理并使用混淆矩阵评估模型、可视化模型预测的概率分布
R语言构建文本分类模型:文本数据预处理.构建词袋模型(bag of words).构建xgboost文本分类模型.xgboost模型预测推理并使用混淆矩阵评估模型.可视化模型预测的概率分布 目录
- R语言基于glmnet构建分类模型并可视化特征系数(coefficient)以及L1正则化系数(lambda)实战
R语言基于glmnet构建分类模型并可视化特征系数(coefficient)以及L1正则化系数(lambda)实战 # 导入测试数据集 data(BinomialExample) x <- Bi ...
- sklearn RandomForest(随机森林)模型使用RandomSearchCV获取最优参数及模型效能可视化
sklearn RandomForest(随机森林)模型使用RandomSearchCV获取最优参数及模型效能可视化 随机森林顾名思义,是用随机的方式建立一个森林,森林里面有很多的决策树组成,随机森林 ...
最新文章
- arthas-boot.jar 工具的简单使用
- JS难点剖析-原型原型链
- php html 转xml,用PHP生成XML文档(转义字符)
- P5305-[GXOI/GZOI2019]旧词【树链剖分,线段树】
- PHPcms框架的Webshell
- windows 下查看进程占用
- 机器人的动力学有什么用呢?
- C++连接MySQL(Windows)
- 3.2.1 封装成帧、帧定界、帧同步、透明传输(字符计数法、字符串的首尾填充法、零比特填充的首尾标志法、违规编码法)(转载)
- Bootcamp Mac 安装Win10 教程
- php模拟登录其他网站,PHP利用Curl模拟登录并获取数据例子
- linux安装Drcom客户端,Ubuntu 10.10校园网安装宽带认证客户端Drcom联网
- Python贴吧小爬虫
- 趣头条面试题:ThreadLocal是什么?怎么用?为什么用它?有什么缺点
- 光耦重要参数与常用设计注意事项
- 万云网实名认证不成功_头条发文章显示实名认证接口调用失败,无法发送,怎么办才能解决?我实名了的?...
- [Android]自己动手做个拼图游戏
- Bilibili到底有多少御坂妹?(一)
- 时间序列差分后去除空值
- 实用指南:如何在Anolis OS上轻松使用 Kata 安全容器?
热门文章
- boost::serialization模块实现快速二进制归档的测试程序
- boost::mp11::mp_replace_front相关用法的测试程序
- boost::mp11::integer_sequence相关用法的测试程序
- boost::high_bit_mask_t和boost::low_bits_mask_t用法的测试程序
- boost::fusion::result_of::empty用法的测试程序
- boost::coroutine模块实现parallel的测试程序
- Boost:测试BOOST_BIND_NO_PLACEHOLDERS的程序
- ITK:二进制和两个图像
- VTK:PolyData之TriangleArea
- OpenCV转换PyTorch分类模型并使用OpenCV Python启动