论文笔记 Inverting Visual Representations with Convolutional Networks

最近一段时间看了很多论文，它们有一个共同特点：“小改进、大智慧”，即提出一个很小或者巧妙的构思，然后充分发挥出该构思的潜能。这篇paper就是一个典型！

Background

1）特征表达对于模式识别之类的任务很重要。好的特征表达能够提供对“任务”重要的信息，忽略和“任务”不相关的信息。

2）对于特定的“任务”而言，特征表达提取了什么信息、舍弃了什么信息呢？

3）本文提出了一种新的分析特征表达的工具。

4）现有的分析特征表达的工具存在以下问题：含有人为设定的先验信息、要求特征表达可微、测试时间较长、只针对特定特征表达有效等。

5）本文提出的工具：测试速度较快、不需要设置先验信息、对特征没有条件限制、适用于所有特征表达。

6）它的core是，让网络自己去学习吧！也就是“No matter what， deep learning it！”

Main points

1）如果我们能够根据特征表达重构出图像，该图像就可以很好的解释特征表达蕴含的信息。下面的问题就是依据特征重构出图像！

2）x表示输入图像、Φ表示x对应的特征，作者将问题转化为了一个点估计问题，f在论文里指反卷积网络，其参数用w表示

最小化（1）loss函数等价于

也就是给定一个特征表达，得到期望的图像，这个图像在论文中被称之为：expected pre-image。我们可以用蒙特卡洛方法估计估计w，于是得到

简单理解就是，反卷积网络生成的图像应与输入图像在L2范数下尽可能接近。接下来就是获取样本，训练反卷积网络了！

3）在反卷HOG、LBP、SIFT特征时，有一些实验细节需要处理。对于WxH的输入图像，HOG、LBP的输出维度确定，SIFT不确定，于是作者对SIFT进行了网格化处理使得其输出维度确定！在将这些特征接入反卷积网络之前，作者通过卷积将它们缩放到特定的size（输入图像的1/64）。

4）在反卷Alexnet时，不同层作者进行了分别处理。具体网络结构可以参考原始论文！

5）作者采用归一化的重构误差定量评价不同方法的性能！

6）下面我贴出论文中结论

Summary

我下面分析一下作者提出的这个反卷积工具的应用思路

1）通过将Alexnet每一层反卷积，我们可以得出每一层保留了什么信息，这对应结论1）；

2）如果我们对特征表达进行dropout、二值化处理，我们可以得出信息究竟是以何种方式、模式保存在特征表达中的，这对应结论2）；

3）将概率输出层top 5 activations设置为0、除top 5 之外的activations设置为0，可以得出结论3）。

这篇论文就是提出了一个反卷积的策略，然后分析究竟特征表达保留了什么信息、怎么保留的、是以何种模式保留的。得出的结论也很好的印证了这些！作者是在灰度图像上提取HOG、SIFT、LBP特征的，用这些特征重构出的图像是彩色的。这在一定程度上表明了反卷积网络能够学习到自然图像的一些着色特性（这可以避免人为添加一些先验信息）！

CNN网络的capability还是很强的，如何利用好这个特性呢？例如，这篇paper就利用了它能够自动学习自然图像的着色特性。

转载于:https://www.cnblogs.com/everyday-haoguo/p/Note-IVR.html

论文笔记 Inverting Visual Representations with Convolutional Networks相关推荐

【论文笔记】FCN：Fully Convolutional Networks for Semantic Segmentation
<Fully Convolutional Networks for Semantic Segmentation>,CVPR 2015 文章目录 1. 概览 2. 主要亮点 2.1 全卷积化 ...
[LGCN论文笔记]：Large-Scale Learnable Graph Convolutional Networks
文章目录 Abstract 补充:如何理解 inductive learning 与 transductive learning? 1. Introduction 2. Related Work 图卷 ...
论文笔记VITAL: VIsual Tracking via Adversarial Learning
论文笔记VITAL: VIsual Tracking via Adversarial Learning 1. 论文标题及来源 2. 拟解决问题 3. 解决方法 3.1 算法流程 4. 实验结果 4.1 ...
动作识别经典C3D论文Learning Spatiotemporal Features with 3D Convolutional Networks的介绍
关于论文Learning Spatiotemporal Features with 3D Convolutional Networks的介绍这篇论文提出了一个比较高效的C3D网络来提取视频的空间时间 ...
【深度学习论文笔记】DeCAF: A Deep Convolutional Activation Feature for Generic Visual Recognition
时间:2014/7/29 10:00 论文题目:DeCAF: A Deep Convolutional Activation Featurefor Generic Visual Recognit ...
论文精读及分析：Fully Convolutional Networks for Semantic Segmentation
本文主要内容为论文<Fully Convolutional Networks for Semantic Segmentation> 的阅读笔记,在原始论文的基础上加入了自己的一些理解, ...
深度学习-视频行为识别：论文阅读——双流网络（Two-stream convolutional networks for action recognition in videos）
这里写目录标题视频的行为识别前言背景内容组成主要贡献算法介绍网络结构双流(two stream)网络结构空间流卷积网络(Spatial stream ConvNet) 时间流卷积网络 ...
【阅读笔记】：End-to-end Structure-Aware Convolutional Networks for Knowledge Base Completion
为解决知识图谱(KG)中三元组不完整问题,本文结合加权图卷积神经网络(WGCN)和Conv-TransE两个模块,提出了SACN(Structure-Aware Convolutional Netwo ...
模型剪枝经典论文解读：《Learning Efficient Convolutional Networks through Network Slimming》
Learning Efficient Convolutional Networks through Network Slimming 摘要: CNN在落地中的部署,很大程度上受到其高计算成本的限制.在 ...
GCN论文笔记——HopGAT: Hop-aware Supervision Graph Attention Networks for Sparsely Labeled Graphs
[论文笔记]HopGAT: Hop-aware Supervision Graph Attention Networks for Sparsely Labeled Graphs 作者:纪超杰,王如心等 ...

论文笔记 Inverting Visual Representations with Convolutional Networks

论文笔记 Inverting Visual Representations with Convolutional Networks相关推荐

最新文章

热门文章