第一篇CrossVIT文献阅读收获体会
本篇论文是本人阅读的第一篇文献，在听过同学对Transformer模型的讲解之后，作为研一刚看完一边吴恩达视频的小白，直接上手本篇文章，属实有点跨度大。选择本篇文献作为文献阅读报告，实属巧合。在组会上同学讲解完Transformer模型之后，老师就给了我这篇论文，说是阅读这篇文献，并于两天后进行PPT讲解。说实话，组会上同学讲解的Transformer模型，由于没有提前做好预习，我听得云里雾里的。而这篇文献还是基于Transformer模型的改进，于是我又在B站上找了大拿讲解的Transformer模型。这让我深刻意识到对之后参加组会一定要提前预习。在对Transformer模型有了了解之后，我便开始了论文阅读。
先是对摘要、介绍部分进行了阅读，了解了本片论文解决了哪些问题、做出了哪些改进、提出了哪些模型、得到了什么结论，并进行了简要梳理。在知道了CrossVIT是基于Vision Transformer的改进之后，我去B站找视频对Vision Transformer(VIT)模型进行了了解。知道了VIT模型相对于经典的Transformer模型做出了如下改进：
1）VIT只保留了Transformer模型的Encodes部分，舍弃了Decodes部分
2)使用一系列嵌入的图像补丁作为标准VIT的输入。
随后开始论文的正式阅读，把每一章都读一遍。通读之后，对论文进行了总结。本篇文献是在VIT发展起来之后，多尺度特征提取不够精确，而且很多研究对VIT进行的改进仍然不能使其在计算方面的效率有很大改进的基础上。
解决问题及改进：
1）提出了一种用于学习多尺度特征的双分支视觉转换器CrossViT，以提高图像分类的识别精度。
2)为了有效地结合不同尺度的图像块标记，发展了一种基于交叉注意的融合方法，从而可以在线性时间内有效地交换两个分支之间的信息。
所谓的双分支，就是在图像输入的时候，将原本一次输入的图像，划分成两个分支，一个大分支，提取图像的主要特征；一个小分支，用于补充大分支没有提取到的特征。从而提高图像分类的识别精度。由于在输入层将图像划分成不同尺度的图像，从而在之后要进行融合。关于融合，作者分析出了三个对照实验，与交叉融合机制进行对比，彰显出交叉融合机制在top-1上的优势。
文献作者关于自己的改进做了一系列实验，来支撑自己论文的说服力。最后的实验结果表明了作者提出的改进相对于DeiT和传统的VIT，在top-1的准确率上比较高。但是我们也可以发现CrossVIT在参数上比其他两个模型多。至此，可发现本篇论文的遗留问题，是否可以将参数降低？为什么改进后参数增加了？参数增加了，为什么CrossVIT在计算时间上呈线性？
以上就是我阅读该论文的收获，学习到了知识，也认识到了自己知识储备的不足，接下来打算补充关于此论文的相关知识，把属于我的第一篇论文研究透彻它。带着为什么看论文，摸索作者思路，思考为什么作者这么做？这么做的好处是什么？是如何想出这个改进？我相信对于一篇文献，我能回答上述问题，才算真正看懂了这篇文章。
以上仅个人感受，专业知识若有不当之处，希望指出，努力学习，天天进步一点点。
第一篇CrossVIT文献阅读收获体会相关推荐
- 读了几篇boosting文献的收获
距离上一篇blog都3个多月了.最近也是有的懒,看到别人的blog层次都很高,总是介绍些opencv的粗浅的东西,总是感觉自惭形愧.所以一直野就没写啥.白驹过隙,3个月,我都转博了,opencv都2. ...
- 如何去选取第一批要阅读的论文?_【手把手教你写论文】第二期：文献阅读进行时...
点击蓝字 关注我们 无论是本科阶段.硕士阶段还是博士阶段,甚至是工作后的职称评定,大家可能都面临着论文写作和发表的需求,需要去完成各种形式的论文,比如毕业论文.期刊论文.会议论文等等. 自从2019年 ...
- PSO算法文献阅读笔记
粒子群算法读书笔记精读 2020<电子信息学报>基于非线性降维的自然计算方法 孙小晴(2020-04-28) 1针对问题 高维大规模优化问题,陷入局部最优与收敛速度和时间复杂度的矛盾. 2 ...
- 英文不好如何高效快速地阅读英文文献——提供一种快速首篇文献阅读方法
英文不好如何高效快速地阅读英文文献 文章目录 英文不好如何高效快速地阅读英文文献 更新前言: 前言 关于阅读英文文献的重要性 中国人最新最优秀的科研成果基本上都会发表在国外的期刊,用的英语. 1.确定 ...
- 如何快速阅读一篇英文文献
拿到一篇英语文献,我原来的方式是从头读到尾,一边读一边查单词.这样的方式很慢,完整完整读完的文献寥寥可数,读到最后都有一种想呕吐的感觉. 直到我在油管上看到一个外国小哥分享的阅读文献经验视频,我才知道 ...
- 文献阅读记录（忆阻器篇）
文献阅读(忆阻器篇) 忆阻器领域相关文献阅读 文章目录 文献阅读(忆阻器篇) 一.书籍 1.Memristor Based Logic Circuits 1.1 忆阻器简介 1.2 忆阻器模型 1.2 ...
- 编程书籍阅读随谈(第一篇)
做.NET程序员也有几年了,从在大学到现在读过的编程书也的确有不少,读过.NET.Java.Python.Node.JS.底层原理等等的书籍.不知道自己学习的怎么样,但是也的确去学习过这些东西. (备 ...
- 四位科研牛人介绍的文献阅读经验
每天保持读至少2-3 篇的文献的习惯.读文献有不同的读法,但最重要的自己总结概括这篇文献到底说了什么,否则就是白读,读的时候好像什么都明白,一合上就什么都不知道,这是读文献的大忌,既浪费时间,最 ...
- 存用部首查字典如何查_文献阅读技巧：牛人博士如何看文献!
这是 社科学术圈 推送的第1658篇文章 发表学术论文,阅读文献是最基本的.今天我们总结了几个牛人博士的文献阅读经验,希望能让你有所思考和感悟.(一)从phd到现在工作半年,发了12篇paper, 7 ...
最新文章
- 计算机病毒实践汇总五：搭建虚拟网络环境
- DICOM医学图像处理：Dcmtk与fo-dicom保存文件的不同设计模式之“同步VS异步”+“单线程VS多线程”...
- SpringBoot:class path resource [xxxx.xml] cannot be opened because it does not exist
- 90 % Java 程序员被误导的一个性能优化策略
- 算法中的Strassen矩阵乘法
- java将对象 缓存_ehcache java 对象缓存怎么实现
- $, $, $$, $$, $$a (Run Script File)
- 如何把小米手机上的便签导出为文本？
- 基础优化 标题优化 上下架注意事项 流量少 转换率低 加购收藏 店铺层级 动销率 动态评分 当你弄清楚这些，自然流量的起来的重要因素
- 你的简历能帮你争取到面试机会吗？
- ＭＩＤＩ模式设定演奏起始小节等其它要点
- 墙面有几种装修方法_装修时墙面处理都有哪几种方式？
- layui 弹框放大图片
- 221900437方彬彬
- 分布式系统架构之IDC机房
- 统计学生平均成绩与及格人数(PTA)
- 首个自带引擎与病毒库木马专杀工具面世
- 四个简单例子教你通过用户行为记录提高用户体验之 “快的用户体验”
- ValueError: Optimizer weight shape (1000,) not compatible with provided weig
- docker部署seafile专业版，私人云盘搭建