一、
1.图像的概念
官中所重现出的物体的视觉信息。
与图像密切相关的两个基本概念是图片（picture）和图形（graphics）。一般认为，图片是图像的一种类型。图形与图像的数据结构不同，图形采用矢量结构，图像则采用栅格结构。
图像处理包括图像增强、模式识别、图像压缩和图像分割等领域。
1. 按照图像的存在形式分类
实际图像：通常为二维分布，又可分为可见图像和不可见图像。
抽象图像：如数学函数图像，包括连续函数和 离散函数。
2. 按照图像亮度等级分类 灰度图像:指每个像素由一个量化灰度来描述的图像，没有彩色信息
二值图像:若图像像素灰度只有两级（通常取0（黑色）或1（白色））
3. 按照图像的光谱分类
4. 按照图像是否随时间变换分类
5. 按照图像所占空间和维数分类
6. 数字图像由二维的矩阵组成，每一个元素具有一个特定的位置（x,y）和幅值f(x,y),这些元素就称为像素 数字图像是图像的数字表示，像素是其最小的单位。
二、基本原理
1．数字图像的表示：f(x,y) 其中x，y表示空间坐标，f为(x，y)出的幅度（亮度），f、x、y均为离散值
2．读取图像函数imread 用法:imread(‘filename’) %使用’ ’ 界定字符串
3. 读出图像的行数列数
函数size用法：>>size（f） %获得图像f的行数和列数
ans=1024 1024
>>[M,N]=size（f） %f的行数和列数给M、N
函数whos 用法：>>whos f
4． 显示图像函数
用法：imshow(f,G) %f为图像，G为用于显示的灰度级数,默认256
mshow(f,[low high]) %f为图像，f中所有小于等于low的均被显示为黑色， f中所有大于等于high
的均被显示为白色
imshow(f,[ ]) %f为图像，f中最小值被显示为黑色，最大值被显示为白色
5． 保存图像函数imwrite
用法：imwrite(f,‘filename’)
6．图像类型图像处理工具箱支持4种图像类型，它们是： 真彩色图像、索引色图像、灰度图像、二值图像
7．数据类间的转换格式: B=data_class_type(A) 例：B=double（A） C=uint（D）
第三章、亮度变换与空间滤波
1．空间域：指图像平面本身，在空间域内处理图像的方法是直接对图像的像素进行处理。
空间域处理表达式： g(x,y) =T[ f( x,y ) ]
f( x,y ) 表示输入图像 g( x,y ) 表示输出图像 T表示对图像进行的某种操作，该操作运算于点( x,y )指定的领域内
2.亮度变换属于图像点运算
对数变换表达式：g=c*log(1+double(f)) 其中c为常数。 用途：压缩动态范围，如频谱范围
3. 对数和对比度拉伸变换
提高对比度:通常通过直方图得到两个拐点的位置
降低对比度:降低对比度一般用于输出设备的灰度级小于输入图象的灰度级的情况，如显示傅立叶频谱时 其他对比度拉伸办法： 局部提高、局部降低对比度
4.直方图的性质
直方图是一幅图像中各像素灰度值出现的频数的统计结果，只反映该图像中不同灰度值出现的次数，未反映
某一灰度值像素所在的位置。
任一幅图像，都能唯一地确定出一幅与它对应的直方图，但不同的图像，可能有相同的直方图。也就是说，图像与直方图之间是多对一的映射关系。
如果一幅图像由两个不连续的区域组成，并且每个区域的直方图已知，则整幅图像的直方图是这两个区域的直方图之和。
5.直方图修正两类方法：直方图均衡化、直方图匹配
6.直方图均衡化原理：知道原图像的直方图，利用概率累积分布函数生成自适应的变换函数，求出均衡化后的直方图；一旦直方图改变，需要重新生成变换函数
7. 直方图规定化原理：知道想要的结果直方图以及原图像的直方图，找出从原直方图到指定直方图的变换函数，以获得想要的结果直方图。
8.空间滤波处理的基本概念：使用空间模板进行的图像处理，被称为空间滤波。模板本身被称为空间滤波器。
9. 空间过滤器的分类
（1）数学形态分类：
线性滤波器：
高通：边缘增强、边缘提取
低通：主要用途：钝化图像、去除噪音
带通：删除特定频率、增强中很少用
非线性：
最大值滤波器：寻找最亮点
最小值：寻找最暗点
中值：钝化图像、去除噪音
（2）处理效果分类：平滑滤波器、锐化滤波器
10.线性空间滤波器的定义：线性空间滤波器是线性系统和频域滤波概念在空间域的自然延伸。
? 对领域中的像素进行线性计算---线性空间滤波
? 原理：系数矩阵在图像中游走，计算出每个点的响应值
? 系数矩阵又称：滤波器、掩模、滤波掩模、核、模板、窗口
? 系数矩阵一般为奇数，最小3x3
两个概念：相关、卷积的差别：卷积在计算前要旋转180度
11.非线性过滤器的定义：
使用模板进行结果像素值的计算，结果值直接取决于像素邻域的值，而不使用乘积和的计算
第四章 频域处理
1.频域滤波
图象的能量主要集中在低频区，其高频区的幅值很小或趋于零，对于大多数无明显颗粒噪音的图象来说，低频区集中了85%以上的能量。
图象中如果存在有明显的颗粒噪音，或明显的细节亮度跳跃变化，则变换后，高频数据增加，分布增多。
2.频域滤波的目的是选择一个滤波器传递函数
3.理想低通滤波器的定义：一个二维的理想低（高）通滤波器（ILPF）的转换函数满足（是一个分段函数） ?1，若D(u,v)?D0H(u,v)?? D0 为截止频率 ，D(u,v)为距离函数 D(u,v)=(u2+v2)1/2
?0，若D(u,v)?D0? 低通滤波器使图像变得模糊（削弱轮廓）
? 高通滤波器使图像变得清晰（突出轮廓）
4.把空间滤波器转变成频域滤波器：
? H = fft2(h,PQ(1), PQ(2),) % h为二维空间滤波器
? H = freqz2(h,R,C) %R为h的行数；C为h的列数
5.振铃效果：理想低通滤波器的一种特性
6.处理过的图像中都没有振铃效果
第五章、图像复原
1.什么是退化？
图像在摄取、传输、储存和处理过程中，不可避免地要引起某些失真而使图像退化。图像退化的典型表现为图像模糊、失真、有噪声等
2. 引起图像退化的原因(主要有8种)
（1） 成像系统的像差、畸变、有限带宽等造成的图像失真；
（2） 涉嫌辐射、大气湍流等造成的照片畸变；
（3） 携带遥感仪器的飞机或卫星运动的不稳定，以及地球自传等因素引起的照片几何失真；
（4） 模拟图像在数字化的过程中，由于会损失掉部分细节，因而造成图像质量下降；
（5） 拍摄时，相机与景物之间的相对运动产生的运动模糊；
（6） 镜头聚焦不准产生的散焦模糊；
（7） 底片感光、图像显示时会造成记录显示失真；
（8） 成像系统中存在的噪声干扰。
3. 图像复原与图像增强技术一样，也是一种改善图像质量的技术，其目的是使退化的图像尽可能恢复到原来的真实面貌。其方法是，先用数学模型描述图像的退化过程；然后在退化模型的基础上，通过求其逆过程的模式计算，从退化图像中较准确地求出真实图像，恢复图像的原始信息。
图像复原的一般过程为 ： 分析退化原因 建立退化模型 反向推演 恢复图像
图像复原技术可以使用空间域或频率域滤波器实现
4.图像复原可以看作图像退化的逆过程，是将图像退化的过程加以估计，建立退化的数学模型后，补偿退化过程造成的失真
? 在图像退化确知的情况下，图像退化的逆过程是有可能进行的
? 但实际情况经常是退化过程并不知晓，这种复原称为盲目复原
? 由于图像模糊的同时，噪声和干扰也会同时存在，这也为复原带来了困难和不确定性
对图像复原结果的评价已确定了一些准则，这些准则包括最小均方准则、加权均方准则和最大熵准则等，这些准则是用来规定复原后的图像与原图像相比较的质量标准.
在图像复原处理中， 往往用线性系统和空间不变系统模型来加以近似
5.数字图像的噪声主要来源于图像的获取和传输过程
? 图像获取的数字化过程，如图像传感器的质量和环境条件
? 图像传输过程中传输信道的噪声干扰，如通过无线网络传输的图像会受到光或其它大气因素的干扰
6.模拟噪声的行为和影响的能力是图像复原的核心
? 空间域噪声（用噪声概率密度函数来描述）
? 频率域噪声（用噪声的傅里叶特性来描述）
7.图像复原的空间滤波器
? 均值滤波器
? 算术均值滤波器、几何均值滤波器、谐波均值滤波器、逆谐波均值滤波器
? 顺序统计滤波器
? 中值滤波器、最大值滤波器、最小值滤波器、中点滤波器、修正后的阿尔法均值滤波器
? 自适应滤波器
? 自适应局部噪声消除滤波器、自适应中值滤波器
算术均值滤波器和几何均值滤波器适合于处理高斯或均匀等随机噪声
谐波均值滤波器适合于处理脉冲噪声
缺点：必须事先知道噪声是暗噪声还是亮噪声，以便于选择合适的Q符号
8.图像复原中遇到的主要退化是图像模糊
? 由场景和传感器两者产生的模糊
? 用空间域或频率域的低通滤波器来建模
? 图像获取时传感器和场景之间的匀速线性运动产生的模糊
9. 图像退化模型
g(x, y)=h(x, y)* f (x, y)+n(x, y)
? 空域滤波器h(x, y)可以由IPT函数产生
? 空域滤波可以用IPT函数实现
? 噪声可以适当添加
约束的最小二乘方滤波又称正则滤波
? 其二维离散卷积的定义：
h(x,y)*f(x,y)?1
MNM?1N?110.
??m?0n?0f(m,n)h(x?m,y?n)? 结合上式，采用矩阵形式表示线性退化模型： g=Hf+n
? 约束的最小二乘方： C?? 准则：使C最小
? 其约束条件： M?1N?1??[?x?0y?0
22f(x,y)]2
11. L?R算法是从最大似然公式
12.
13.||g?Hf?||?||n||2在图像复原中最困难的是获得PSF的恰当估计，不以PSF的知识为基础的复原方法统称为忙去卷积法 几何变换会对图像的像素之间的空间关系加以修改，又称橡皮布变换 几何变换常用来实现图像的配准
图像配准就是取两张相同场景的图像并加以对准，从而可以将它们合并，以便目测或者定量比较。
14.可以改变图像中各物体之间的空间位置关系
? 几何变换不改变像素的值，而是改变像素所在的位置。
? 几何变换需要的两个算法：定义空间变换本身、灰度值重采样
? 简单的几何运算：平移、缩放：缩放可分为按比例缩放和不按比例缩放两种
图像缩小后，因承载的信息量小了，画布可相应缩小。
图像缩小实际上就是对原有的多个数据进行挑选或处理，获得期望缩小尺寸的数据，
并且尽量保持原有的特征不丢失。
最简单的方法就是等间隔地选取数据镜像(水平镜像、垂直镜像)
第六章 彩色图像处理
1.彩色图像处理可分为：全彩色处理（ 数码相机、数码摄像机、彩色扫描仪）
伪彩色处理（对不同的灰度或灰度范围赋予不同的颜色）
2．彩色空间是用来精确标定和生成各种颜色的一套规则和定义。某种颜色模型所标定的所有颜色就构成了一个彩色空间。
3.颜色的描述通过建立彩色空间(又叫颜色空间或色彩模型、色彩系统)来实现，不同的色彩模型对应于不同的处理目的。
4.各种不同的颜色模型之间可以通过数学方法互相转换。
5.图像处理工具箱支持4种图像类型： RGB真彩色图像、索引色图像、灰度图像、二值图像
6.Matlab中的索引色图像包含2个结构，一个是调色板(彩色映射矩阵map)；另外一个是图像数据矩阵。
7.NTSC彩色制式在北美用于电视系统，主要形式是灰度信息和彩色信息分离，以便是同一个信号适用与彩色电视机和黑白电视机。
? NTSC制式的图像数据由3部分组成
? Y指亮度(Brightness),即灰度值
? I和Q指色调和饱和度，描述色彩及饱和度 中引出来的，图像采用泊松统计加以模型化。
Y分量可提供黑白电视机的所有影像信息
8.YCbCr彩色空间广泛应用与数字视频中，是常用于彩色图像压缩时的一种彩色模型。
? Y指亮度,与YIQ和YUV的Y相同
? Cb和Cr由U和V调整得到、Cb代表蓝色差分量、Cr代表红色差分量
? JPEG采用的彩色空间
9.HSV是是人们用来从调色板或颜色论中挑选颜色(如颜料或墨水)所用的彩色系统之一。
? HSV比RGB更接近与人们对色彩的感知。H 指色调、S 指饱和度、V 指亮度数值
10.*HSI(色调、饱和度、亮度）H：表示色度，由角度表示。S：表示饱和度，饱和度参数是色环的原点到彩色点的半径长度。
两个特点： I分量与图像的彩色信息无关 H和S分量与人感受颜色的方式是紧密相连的
? 将亮度(I)与色调（H）和饱和度（S）分开
? 避免颜色收到光照明暗(I)等条件的干扰
? 仅仅分析反映色彩本质的色调和饱和度
? 广泛用于计算机视觉、图像检索和视频检索
11.彩色图像处理包括：伪彩色处理 全彩色图像处理
12. 什么叫伪彩色图像处理?
? 也叫假彩色图像处理
? 根据一定的准则对灰度值赋以彩色的处理
? 区分：伪彩色图像、真彩色图像、单色图像
13. 为什么需要伪彩色图像处理?
a) 人类可以辨别上千种颜色和强度
b) 只能辨别二十几种灰度
14. 伪彩色图像处理应用： 为人们观察和解释图像中的灰度目标
15. 怎样进行伪彩色图像处理？1. 强度分层技术2. 灰度级到彩色转换技术
16.ICE为扩展的IPT函数
17.全彩色图像处理研究分为两大类：
? 分别处理每一分量图像，然后，合成彩色图像
? 直接对彩色像素处理：3个颜色分量表示像素向量。令c代表RGB彩色空间中的任意向量
18.补色：在如图所示的彩色环上，与一种色调直接相对立的另一种色调称为补色
作用：增强嵌在彩色图像暗区的细节
? 红色在补色中用青色代替
? 黑色在补色中用白色代替
19.彩色图像锐化：用线性滤波器锐化RGB图像的步骤与平滑相同，只是使用锐化滤波器而不是平滑滤波器
第八章、 图像压缩
1. 空间冗余是静态图像中最主要的冗余。
2. 时间冗余是序列图像（电视图像、运动图像）中的主要冗余。
3. 结构冗余图像有非常强的纹理结构。如草席、方格布等图结构上存在冗余
4. 知识冗余图像的理解与某些基础知识有关。知识冗余是基于模型编码主要利用的特性。
5. 视觉冗余是非均匀、非线性的。例:人类视觉分辨率为26，但常用28 就是数据冗余。
6. 图像区域的相似性冗余：图像中多个区域的像素值相同或相近，从而产生数据的重复存储。
7. 图像压缩的方法
? 消除冗余数据，从数学角度看，将原始图像转化为从统计角度看尽可能不相关的数据集
? 图像压缩分类方法很多，一般上分为两类：
? 无损压缩：在压缩和解压缩过程中没有信息损失
? 有损压缩：能取得较高的压缩率，但压缩后不能通过解压缩恢复原状
? 其它：如根据需要，即可进行无损，也可进行有损压缩的技术；准无损技术
图像压缩技术???无损压缩???
?
?有损压缩?
???霍夫曼编码??行程编码??算术编码?预测编码??变换编码??其他编码
8.图像数据压缩过程有3个基本环节：变换、量化和编码。
9.压缩比：如果n1表示源图像的比特数，n2表示编码后图像的比特数，图像的压缩比为：C=n1/n2
10.什么是编码冗余？如果一个图像的灰度级编码，使用了多于实际需要的编码符号，就称该图像包含了编码冗余
11.数据压缩技术的理论基础是信息论；数据压缩的理论极限是信息熵
12.行程编码(RLE)是一种最简单的，在某些场合是非常有效的一种无损压缩编码方法
13.二维行程编码要解决的核心问题是:
将二维排列的像素，采用某种方式转化成一维排列的方式。之后按照一维行程编码方式进行编码。
14.霍夫曼码是统计编码的一种，统计编码属于无损压缩算法
? 统计编码是指建立在图像的统计特性基础之上的压缩编码方法，根据信源的概率分布特性分配不同
长度的码字，降低平均码字长度，以提高传输速度，节省存储空间。
? 霍夫曼(Huffman)编码是根据可变长最佳编码定理，应用霍夫曼算法而产生的一种编码方法
最佳编码定理：在变字长码中，对于出现概率大的信息符号编以短字长的码，对于出现概率小的信
息符号编以长字长的码，如果码字长度严格按照符号概率的大小的相反顺序排列，则平均码字长度一定小于按任何其他符号顺序排列方式得到的码字长度。 Huffman编码就是利用这个定理
15. 等长编码：对于每个符号，例如经过量化后的图像数据，如果对它们每个值都是以相同长度的二进制码表示的，则称为等长编码或均匀编码
16.算术编码的输出是：一个小数 。算术编码对整条信息（无论信息有多么长），其输出仅仅是一个数，而且是一个介于0和1之间的二进制小数。
17.什么是像素间冗余？
? 反映图像中像素之间的相互关系
? 因为任何给定像素的值可以根据与这个像素相邻的像素进行预测，所以单个像素携带的信息相对较
少
? 对于一幅图像，很多单个像素对视觉的贡献是冗余的。它的值可以通过与它相邻的像素值为基础进
行预测
18.JPEG是面向静态图像编码的国际标准
? JPEG文件拥有比其他图像文件格式更高的压缩比。JPEG目前被广泛应用于多媒体和网络中，是现
今万维网中使用最广泛的两种图像文件格式之一。
19.JPEG压缩（JPEG标准提供4种压缩模式） （1） 无损压缩编码模式：保证准确恢复数字图像的所有样本数据，与原数字图像相比不会产生任何
失真。
（2） 基于DCT的顺序编码模式：以DCT变换为基础，按照从左到右、从上到下的顺序对原图像数
据进行压缩编码。图像还原时，也是按照上述顺序进行。
（3）基于DCT的累进编码模式：也以DCT变换为基础，但使用多次扫描的方法对图像数据进行编码，以由粗到细逐步累加的方式进行。解码时，重建图像的过程也是如此，效果与基于DCT的累进编码模式类似，但处理更复杂，压缩比可更高一些。
（4）基于DCT的分层编码模式：以多种分辨率进行图像编码，先从低分辨率开始，逐步提高分辨率,直到与原图像分辨率相同为止。解码时，重建图像的过程也是如此，效果与基于DCT的累进编码模式类似，但处理等复杂，压缩比可更高一些。