图像处理课程复习整理（前四章节/前7个PPT）
- 本课程是国科大人工智能学院彭思龙老师和杨戈老师共同授课的。
- 考试内容：
– 推公式，简单计算（不需要计算器的那种简单计算）（杨老师所说）
– 杨老师在第一次上课时提到了两个重点：采样定理，基本的变换。
一：PPT1 — 图像处理简介，人类视觉机理
1. 图像处理简介
- 什么是图像？对图像的不同解释
一副二维图像是一个像素点阵，矩阵，曲面（经平滑处理后）
- 其实图像只有一堆数字（灰色图像），因为缺乏人类的认知背景。
- 动态图像有时间序列，有时空的连续性。
- 光子能量的普朗克定律：
- 光波长越短，光子能量越高。
- 什么是图像处理？
- 图像处理通常作为计算机视觉的前处理，是后者的基础。
- 计算机视觉与图像处理的主要区别在于计算机视觉的主要目的是对于图像的理解。
- 有两种：图像到图像（会更清楚，不然处理的意义在哪儿？），图像到特征
- 图像处理的不同层次：
2. 人类视觉原理
- 人眼（是一个转动的感光机器）的结构：
- 这里重点是锥状体和杆状体的对比。
- 视网膜中锥状体和杆状体的分布：视网膜是一个光感受器
- 主观亮度与实际光强关系：
- 主观亮度是光强的对数函数。
- 人眼在暗视觉条件下的敏感度低于亮视觉条件下的敏感度。
- “看不见的未必没有”- “亮信号会影响暗信号”
- “所见未必是所得”
二：PPT2+3 — 数字图像的获取，成像与采样，彩色图像
几个常见问题：
- 机器视觉与计算机视觉的区别是什么？
- 通常在工业场景下的计算机视觉被称为机器视觉
- 在工业场景下成像条件经常可控
- 如何才能学会做图像处理算法？
- 针对一个图像处理问题建立合理的数学模型，进而对模型采用数值/优化方法进行求解
1. 图像格式：PBM PGM PPM
PBM: portable bitmap format
PGM: portable graymap format
PPM: portable pixmap format
2. 文件格式：TIFF JPEG
TIFF-Tagged Image File Format：TIFF 是一种常用无损图像格式
其他常见的图像格式包括：
bmp，
jpeg（Joint Photographic Experts Group，有损压缩），
gif，png等等
各种图像格式之间通常可以自由转换
3. 图像获取
- 常用成像设备：
- CCD（电荷耦合器件）
- CMOS（互补金属氧化物半导体）
- 像素的位深度：
像素位深度是指每个像素所用的位数(bit)，像素位深度决定了彩色图像的每个像素可能有的颜色数，或者确定灰度图像的每个像素可能有的灰度级数。
例如，一幅彩色图像的每个像素用R、G、B三个分量来表示，若每个分量用8位，那么一个像素共用24位表示，就说像素的深度为24位，每个像素可以是224，即16777216〔千万级〕种颜色中的一种。在这个意义上， 往往把像素的位深度说成是图像深度。
表示一个像素的位数越多，它能表达的颜色数目就越多， 而它的深度就越深。
虽然像素位深度或图像深度可以很深，但由于设备本身的限制，加上人眼自身分辨率的局限，一般情况下，一味追求特别深的像素深度没有意义。因为，像素深度越深，数据量越大，所需要的传输带宽及存储空间就越大。相反，如果像素深度太浅，会影响图像的质量，图像看起来让人觉得很粗糙而不自然。
4. 图像采样与量化
空间采样与量化由物理像素决定。
灰度采样与量化由模拟-数字转换决定。
5. 空间分辨率与灰度分辨率
- 离散化-分辨率：空间和灰度
- 在做图像处理时，应该首要问一个问题：空间分辨率够不够？灰度分辨率够不够？。我们要保证有足够的分辨率，因为若分辨率不够，图像会失真。
- 图像插值：空间和灰度分辨率都是离散的，通过插值变为连续的。
插值指的是利用已知数据去预测未知数据，图像插值则是给定一个像素点，根据它周围像素点的信息来对该像素点的值进行预测。
左边的图片是双线性插值：在数学上，双线性插值是有两个变量的插值函数的线性插值扩展，其核心思想是在两个方向分别进行一次线性插值。
6. 图像处理的基本数学工具
- 线性算子的基本概念：
- f为物体，g为图像。
- 齐次性+可加性
- 点扩散函数PSF：描述了一个成像系统对一个点光源（物体）的响应。PSF更一般的术语是一个系统的脉冲响应（impulse response），PSF是聚焦光学系统的脉冲响应。PSF 在许多情况下可以被当作是图像中表示一个未解决对象的扩散斑（extended blob ）。从功能上讲，它是成像系统光学传递函数的空间域形式。
因为可见光的波长范围为350-720nm，取波长为550nm。又因为max(NA)=1.5，所以
r = 200nm。NA是Numerical Aperture数值孔径，见下面的图解释。
艾里斑是点光源通过衍射受限成像时，由于衍射而在焦点处形成的光斑。中央是明亮的圆斑，周围有一组较弱的明暗相间的同心环状条纹，把其中以第一暗环为界限的中央亮斑称作艾里斑。
艾里斑是由于光的波动性，光通过小孔会发生衍射，明暗相间的条纹衍射图样，条纹间距随小孔尺寸的减少而变大。
高中物理曾经介绍过狭缝衍射：一束光经过一道狭缝，会在中间亮条纹的两侧呈现出一系列明暗交替的条纹。这是由于光是一种电磁波，它被狭缝限制时会发生衍射，偏离直线传播。假如把狭缝换成一个圆孔，则它在各个方向上都限制了光的传播。这样就在一定的距离上（称为远场）形成了下图左边的圆孔衍射图样（艾里图样，airy pattern）。这个图案的中心有一个比较大的亮斑，集中了大部分的能量，我们叫它主极大，这个亮斑就是艾里斑（airy disc）。而它的外围有一些明暗交替的环。由于艾里斑比外围的衍射图样强度高很多，所以左图为了显示衍射图样，不得不把主极大过曝了。为了更直观地了解艾里图样各级之间强度的差别，右图把艾里斑的强度作为第三维，越高表示强度越大。它的形貌如下图所示。
- 上图中的F函数是傅里叶变换。
n是介质的折射率，接近1（空气的折射率为1，油的折射率为1.5）
7. 彩色图像
- 彩色模型：RGB模型，CMY模型，CMYK模型，HSI模型（H：色调；S：饱和度，白色的稀释度；I：强度）
- 按照光子能量排列的电磁波谱
- 人能感受到的可见光波长：350-720nm
- 紫外光消毒：波长短，能量高，能杀死蛋白质
- 人类的锥状感光细胞中65%对于红色敏感，33%对于绿色敏感，只有2%对于蓝色敏感。国际照明委员会定义：蓝 = 435.8 nm；绿 = 546.1 nm；红 = 700nm
- 不同颜色的组合：
- 光的(加性)原色与二次色：RGB，屏幕本身带光
- 颜料的(减性)原色与二次色：彩色打印机-CMYK，纸本身不发光
- RGB：加性模型
- CMYK：减性模型
- CMYK 模型更适合打印和印刷。
- 相对于RGB, CMYK更容易实现浅色。
- HSI/HSL/HSV彩色模型：
8. 图像处理工具
- Adobe Photoshop：基础是像素
- Adobe Illustrator：基础是矢量，矢量的优点是缩放不失真，可使用EPS图形格式。（写论文时，应存为矢量图）
- OpenCV
- MATLAB
- PIL/Pillow
9. 图像的生成模型
- 数字图像采集典型场景示例
- 图像的噪声模型：
- 加性噪声 additive noise：
- 乘性噪声 multiplicative noise：
- 一个图像可能同时受到多种噪声的影响
- 高斯噪声：概率密度为高斯函数/正态函数，常见的噪声来源：背景噪声 (dark noise), 放大器噪声 (amplifier noise)。每个像素都会受到影响。
三：PPT4：图像空间域与频率域滤波，深度神经网络简介
考试重点：离散傅里叶变换，正交基简单的运算
1. 图像滤波与高斯滤波器：
- 图像滤波：
去除掉图像中不想要的像素点的值：去除噪声
加强图像中需研究的内容：边缘提取（强
调特征）- 均值滤波：用其像素点周围的平均值来代替原像素值，在滤除噪声的同时也会过滤掉图像的边缘信息。
- 高斯滤波：有可分离的性质。把二维高斯运算转换为一维高斯运算，本质上是一个低通滤波器。（将高斯分布用于图像处理）
Q：每个点都要取周围像素的平均值，如何分配权重呢？不能简单的使用平均，因为图像是连续的，越靠近的点关系越密切，越远离的点关系越稀疏。所以要用加权平均。
2. 图像的空间滤波：
两类图像空间域滤波器：
- 平滑空间滤波器：通常用于抑制噪声
eg：高斯滤波器：抑制噪声- 锐化空间滤波器：通常用于突出图像细节
锐化滤波器是高通滤波器。求微分，放大高频分量，强化细节。
图像空间滤波：卷积（频率域和空间与域的相互转化）
- 滤波器核/模板：3×3，或者5×5。奇数，才有唯一的中心点。（这个解释去看作业一博客整理汇总）
图像的空间滤波：相关
图像卷积和相关运算的一些特性：（两者都满足分配律，但是相关运算不满足结合律与交换律）
常用的空间平滑滤波器：
- 均值
- 高斯
- 方型
比较方型滤波器和高斯滤波器：
3. 图像滤波示例：图像导数的计算
- 导数计算公式：
4. 滤波器：均值滤波器，高斯滤波器
- 图像的微分运算会放大噪声。越高阶越放大，因为噪声是一个高频信号。所以首要任务是压制噪声，用低通滤波，但会丢失细节。
- 图像细节对应于高频信号，图像的大尺度特征对应于低频信号。图像噪声通常对应于高频信号。
- 比如均值滤波就是一个低通滤波器。
- 一个图像滤波器可以描述为一个线性系统。
- 高斯滤波器：
- 高斯滤波器的基本特性：低通性和可分离性
- 确定高斯滤波器的大小：（详解看之前博客中整理的作业二）
5. 图像采样定理
（老师在第一节课中cue到采样定理了，所以对考试来说很重要！）
- 关于复数的简要复习
- 傅里叶级数与傅里叶变换
- 脉冲信号
脉冲序列信号的筛选特性：
- 采样信号的数学表示及其傅里叶变换（要手推公式，下面的图片都很重要）
- 上面的公式老师在讲课时说证明看书上，有可能会考。
摘自周志华《机器学习》第十一章的压缩感知部分对采样定理的解释：
- 在数据通讯中要将模拟信号转换为数字信号。根据奈圭斯特采样定理得，令采样频率达到模拟信号最高频率的两倍，则采样后的数字信号就保留了模拟信号的全部信息，则由此获得的数字信号就能精确的重构原模拟信号。
采样频率：（摘自百度百科）
采样频率，也称为采样速度或者采样率，定义了每秒从连续信号中提取并组成离散信号的采样个数，它用赫兹（Hz）来表示。采样频率的倒数是采样周期或者叫作采样时间，它是采样之间的时间间隔。通俗的讲采样频率是指计算机每秒钟采集多少个信号样本。
- 采样定理应用示例：
6. 一维离散傅里叶变换
- 脉冲序列信号的筛选特性
- 一维离散傅里叶变换的推导：
- 一维离散傅里叶变换计算示例：u是频率域，M=4，有4个采样点
- 一维傅里叶变换的内积与矩阵表示：
7. 图像的二维离散傅里叶变换
- 二维连续与离散傅里叶变换：
- 傅里叶变换是线性变换。
8. 图像的频率域滤波
- 图像频率域滤波的基本步骤：
- 代表性滤波器：
低通滤波器（使低频通过而使高频衰减的滤波器）；高通滤波器（使高频通过）
- 理想低通滤波器ILPF：实则并不理想，变到空间域有artifacts（振铃效应）。
- 高斯低通滤波器GLPF：也成为casual因果滤波器。到了空间域中仍为高斯。高斯滤波器的优点为虽变模糊，但无假象；缺点为下降的太快，低通保持不好 —> 巴特沃斯。
- 巴特沃斯低通滤波器 BLPF（结合了理想和高斯各自的优点）：在空间域/频域，会出现振铃现象。
BLPF：低阶好，但高阶仍有振铃现象。
IHPF, GHPF, BHPF的频率域特性：高通 = 常数 - 低通
IHPF, GHPF, BHPF的空间域特性：
不同类型的频率域滤波器：
不同类型的频率域滤波器对应的空间滤波器：
9. 图像的正交变换
- 一维和二维信号的正交变换
10. 卷积神经网络的基本结构（一些基本概念）
- 一个人工神经元模型：
- 全连接前馈人工神经网络：每两个神经元之间都有连接
- 感受野：
局部连接：每个神经元都仅与输入神经元的一块区域连接，这块局部区域称为感受野。- 卷积神经网络CNN：
- 典型结构：
- 卷积层：提取图像特征
- 非线性单元：ReLU：应用于每个像素，将所有的负灰度值换为0。
- 池化：简化卷积层的输出。最大池化，平均池化。
- Softmax：
11. 软件形态的变化：
- 软件1.0：程序 = DS+算法
- 软件2.0：程序 = 网络架构+数据
四：PPT5+6：图像的离散傅里叶变换，正交变换，距离变换
1. 深度学习(多层的神经网络)的基本概念
- 分类性能取决于特征设计与选取
2. 图像的二维离散傅里叶变换
一维离散傅里叶变换的推导：
图像二维快速傅里叶变换(DFT)的计算：
3. 快速傅里叶变换
图像二维快速傅里叶变换(DFT)：
快速傅里叶变换的基本概念：
4. 一些常用的图像滤波（滤波器）算子
- 算子：平滑算子，尖锐算子
- Laplacian算子（二阶算子）
- Roberts算子和Sobel算子
- Prewitt算子和Scharr算子
- 不同算子的比较
对图像预处理，微分算子：边缘增强，边缘提取。
5. 图像的正交变换
太难了，几乎没看懂
杨老师当时上课说考试不考，不太确定
- 正交变换是傅里叶变换的广义化。
- 傅里叶变换是正交变换的一种
- 图像是基向量的组合，一维是基向量，二维是基图像。
- 一维和二维傅里叶变换是正交变换的一个特例，可以直接在时间/空间域获得直观的解释。这些解释具有重要意义。
- 一维离散傅里叶变换(1D-DFT)的定义：
- 二维离散傅里叶变换(2D-DFT)的定义：
关于图像变换的一个直观示例：
图像处理中正交变换的目的是将图像的能量尽量集中在少量系数上，从而最大限度地去除原始数据中的相关性。主要用于图像特征提取、图像增强、图像复原及图像编码等处理中从而使后续运算变得简单。
（图像变换目的是为了让某些处理变得更简单，更方便。）
矢量空间：
内积空间：
内积空间的示例：
- 欧几里得空间：
- 积分内积空间：
内积空间的基和单位正交基：
双正交基和单位双正交基：
一维傅里叶变换的内积与矩阵表示：
将f（x）=sin（2πx）的连续Fourier级数和8点DFT描述为“矩阵乘法”，所有复数的实部和虚部分别用蓝色和黑色表示。连续函数和离散函数分别用线和点表示。
变换的直观解释：
二维傅里叶变换的内积与矩阵表示：
各种变换基总览：区别在于正交基取的形式不同
基图像的基本概念：
标准基变换：
二维傅里叶变换的基图像：基图像的线性组合模拟出来原图像。
二维Hartley变换的基图像：
离散余弦变换：
离散正弦变换：
Walsh-Hadamard变换：
Slant斜变换：
Haar变换的定义：
6. 图像的距离变换
为什么要使用图像距离变换？
如何计算图像距离变换？
不同的距离定义：
图像的距离变换：
距离变换结果示例：
距离变换的局限性：
五：图像的矩阵表示与奇异值分解，图像的空间与统计描述，随机变量和随机场
1. 图像的矩阵表示与奇异值分解
- 图像的灰度直方图表示：丢掉了“空间位置信息”，侧重“灰度”。
- 矩阵的特征值分解
- 奇异值分解：
- 奇异值分解的基本特性
- 奇异值分解的直观解释：任一个线性变换（非满秩），可分解为2个旋转和1个尺度的拉伸
- 图像的SVD(Singular Value Decomposition)逼近
- 矢量的各种范数
- 矩阵的各种范数
- 图像的奇异值分解的应用 (I): 最优逼近
- 图像的奇异值分解的应用 (II): 图像压缩和去噪声
2. 图像的统计描述的基本概念
- 为什么需要对于图像进行统计描述？
- 每个像素的灰度信号受到噪声的影响是一个随机变量。
- 两个或者多个像素的灰度之间的关系可以用多维随机向量的联合分布描述。
- 动态图像中单个像素的灰度信号是一个时域随机过程。
- 不同位置的像素灰度可以看成是一个一维空间域随机过程或者二维空间域随机场。
- 图像的统计描述是图像处理与计算机视觉的核心概念与方法。
- 对于图像进行统计描述不仅非常自然而且使得我们可以采用概率与统计方法对于图像进行处理和理解。
3. 随机变量和随机过程
- 样本空间：
- 概率的形式化(公理化)定义
- 随机变量的分布函数
- 随机过程的基本概念
4. 图像的空间描述：不考
5. 随机场的基本概念：不考
6. 图像的图表示：不考
图像处理课程复习整理（前四章节/前7个PPT）相关推荐
- 数字图像处理课程 复习重点
前言: 本博客为中科院人工智能专业数字图像处理课程整理的复习重点(杨戈老师和彭思龙老师) 划重点: 一共8个大题 图像获取与生成部分: 图像获取过程.采样定理(重点) 图像为什么可以离散化 图像为什么 ...
- 遥感数字图像处理教程复习整理
目录 01 说明 遥感影像的存储方式 BSQ方式 BIL方式 BIP方式 如何计算图像存储空间大小(字节数)? 简单的单位换算 计算公式 简单地 复杂地 如何查看影像的基本信息/辅助信息? 如何进行直 ...
- （附源码）python数字图像处理课程平台 毕业设计 242339
Python数字图像处理课程平台的开发 摘 要 数字图像处理是一门新兴技术,随着计算机硬件的发展,数字图像的实时处理已经成为可能,由于数字图像处理的各种算法的出现,使得其处理速度越来越快,能更好的为人 ...
- （附源码）Python数字图像处理课程平台 毕业设计242339
Python数字图像处理课程平台的开发 摘 要 数字图像处理是一门新兴技术,随着计算机硬件的发展,数字图像的实时处理已经成为可能,由于数字图像处理的各种算法的出现,使得其处理速度越来越快,能更好的为人 ...
- 基于matlab的脑瘤mr图像处理_基于Matlab GUI的医学图像处理课程虚拟实验平台设计...
论文写作指导:请加QQ229366758 摘 要:针对医学生工程技术缺乏的状况,分析医学生学习医学图像处理存在的困难,提出利用Matlab图像处理工具和简单的GUI界面,设计和构建包含医学图像处理教学 ...
- CS229 机器学习课程复习材料-线性代数
本文是斯坦福大学CS 229机器学习课程的基础材料,原始文件下载 原文作者:Zico Kolter,修改:Chuong Do, Tengyu Ma 翻译:黄海广 备注:请关注github的更新,线性代 ...
- 数据结构期末考试复习整理
写在前面: 本博客基于学校提供的教材书<数据结构--Java语言描述(第2版)>编写.原意是用于学校期末考的复习整理,也希望能对大家有所帮助! 此次整理是针对学校给出的考点,而不是针对数据 ...
- 专科段《质量管理》课程复习资料(3)——简答、计算题
小编黑板青云寄语: 1.为了方便打印,答案放在了最后. 2.黑板青云已经为大家尽力校对,难免疏漏,如有疏漏请留言更正. 3.名词解释和判断题,见<专科段<质量管理>课程复习资料(1) ...
- 矢量合成和分解的法则_高考复习整理力的合成和分解
一.合力与分力 如果一个力产生的效果和其他几个力产生的效果相同,这个力就叫那几个力的合力,那几个力就叫这个力的分力. 二.力的合成:求几个力的合力叫做力的合成. 1. 平行四边形定则:力的合成的本质就 ...
最新文章
- 思科PIX防火墙的实际应用配置
- 「天才少年」稚晖君调戏机械臂！加上AI视觉，2小时学会抓螺母
- 自适应图像降噪滤波器的设计与实现
- linux内核模块是什么,Linux内核模块介绍,使用Linux模块的优点
- python np.cos 转化为角度_postman接口用例转化为python自动化测试用例(三)
- Linux 内核里的数据结构——基数树
- 02 linux常用命令
- 8个前端技术学习网站
- [无忧网络验证]代理使用教程
- 客户信息管理系统类毕业论文文献有哪些？
- java不使用科学计数法_java不用科学计数法
- 零基础如何学习SEO网站优化
- 【线代NumPy】第五章 - 行列式课后练习 | 伴随矩阵求逆 | Cramer公式求联立方程 | 简述并提供代码
- DOM解析，DOM4j
- 公务员考试——申论1
- 华科计算机组成原理 头歌Educoder Logisim 计算机数据表示实验(HUST) 1~9关满分通关
- [Maven]archetypeCatalog笔记
- [警告] [TensorFlow] Cause: module 'gast' has no attribute 'Num'
- GoLang之M如何找工作(13)
- 量子计算 10 隐变量、贝尔不等式与CHSH