一、前言概述

计算机视觉中有常见的四大任务：

分类（解决"what"）
定位（解决"where"）
检测（解决"what"和"where"）
分割（实例分割、语义分割和场景分割等像素级别的处理）

二、上游任务

预训练模型。一般就是利用上游数据进行预训练，以生成一个包含视觉表征能力的模型。

比如，我们想要的是一个能够提取图片特征能力的卷积神经网络或者Transformer，我们会用大量图片用图片分类这个下游任务或者其他比如自监督的方法（可以参考CLIP）去进行训练，得到一个权重合适的模型（能够很好地提取出图像的特征），那么最后我们把得到的这个模型最后一层的FC层（原本用于图片分类输出类别）去掉，这个模型就成为了一个很好的预训练模型，输入一张图，就能够提取出图像的特征，就可以用于我们的下游任务（在这个模型后面加一些诸如检测头之类的模块，处理我们想要的下游任务，或者修改下FC层，用于另外一堆类别的图像分类）。

上游任务一般称为backbone，主干网络。

三、下游任务

下游任务是计算机视觉应用程序，用于评估通过自监督学习学习到的特征的质量。当训练数据稀缺时，这些应用程序可以极大地受益于预训练模型。

下游任务更多的是评估任务，相当于项目落地，需要去做具体任务来评价模型好坏。如图像分类，目标检测、语义分割等具体任务。

下游上游的取名就在于下游任务往往是先用上游任务得到的模型（一般会称为backbone，主干网络）提取图像特征，然后再从这些特征中得到我们想要的结果。

【计算机视觉】上游任务和下游任务的理解相关推荐

什么是上游任务、下游任务？
①上游任务预训练模型.一般就是利用上游数据进行预训练,以生成一个包含视觉表征能力的模型. 比如,我们想要的是一个能够提取图片特征能力的卷积神经网络或者Transformer,我们会用大量图片用图片分 ...
计算机视觉的上游任务和下游任务
这几天看CV论文和视频,经常提及什么上游任务.下游任务.如果理解有误烦请各位前辈大佬指正!简单来说下游任务是具体部署,上游任务是训练模型. ------------------------------ ...
CV计算机视觉（computer vision）概述--个人理解
CV即计算机视觉,简单的来说:计算机模拟人来理解图像所表达的意思,或对图像进行一些理智的操作,比如分割,分类等等. 目前接触到的计算机视觉主要有: 图像分类(包括细粒度特征分类):将图像进行分类,该图 ...
计算机视觉-目标检测论文中proposal翻译理解
在阅读目标检测系列论文中,常看到proposal这个单词,但是因为刚开始学,一些专业术语不大懂.特地请教了大佬,proposal指的是二阶段方法中RPN的输出框,也就是对anchor第一次做回归得到的 ...
哪边是上游、哪边是下游
涉及接口调用的场景,很多人会分不清哪边是上游,哪边是下游 Nginx 配置文件的上游 Nginx 配置文件中 upstream 中译即是"上游".也就是请求转发给谁谁是上游--被调 ...
DB是服务的下游还是上游，你平时用对了吗？
我们都知道沟通的基础是大家得建立一致的通用语言,说人话就是,得口径一致才能沟通明白.现在我们不管在公司内部讨论,还是在群里吹水,说到架构.服务治理的时候,肯定会提到上游服务.下游服务之类的名词.但你有 ...
软件开发设计中的上游与下游
生产流程中的上下游让我们以一个简单的生产流程开始,尽管它跟软件开发没有关系,这样我们能以此为基础定义软件开发中的上下游. 上面的例子有三个步骤:收集部件.组装部件.喷漆. 一个生产流程跟一条河流很相 ...
软件开发中的上游和下游
听了腾讯犀牛鸟王佳对开源的讲解中,对其中的专业术语上游(upstream)和下游(downstream)不理解,看了这篇blog理解了特此转载记录. 看了以下blog后个人理解:自然界上水是高处往低处 ...
李飞飞：在物体识别之后，计算机视觉还要多久才能理解这个世界？
9 月 26 日,著名华人计算机视觉专家.斯坦福副教授李飞飞,在温哥华会议中心面向全体与会专家学者作了长达一小时的专题报告. 李飞飞与大家讨论了计算机视觉的下一步目标:丰富场景理解,以及计算机视觉与语 ...

【计算机视觉】上游任务和下游任务的理解

文章目录

一、前言概述

二、上游任务

三、下游任务

【计算机视觉】上游任务和下游任务的理解相关推荐

最新文章

热门文章