绪论
图像：是客观目标的一种相似性描述，它包含了被描述的对象，是客观世界三维实体到2维实体的变换（连续图像）。
数字图像：连续图像经过空间离散化，灰度整量后的图像。
连续图像处理：利用光学、化学方法对图像进行一系列操作。
数字图像处理：基于计算机和一定的数学变换方法，对数 字图像进行一系列的操作处理，称为数字图像处理。
数字图像处理目的：数字图像处理强调图像间的数学变换，目的是对图像进行各种加工处理，以改善图像视觉效果，并为自动识别打下基础。或对图像进行压缩编码，以减少所需存储空间和传输时间。
数字图像处理主要内容：图像获取、图像显示、图像变换、图像增强、图像压缩、图像恢复与重建、 图像分割、图像描述、图像纹理分析
第二章、数字图像处理基础
2．2图像与数字化
2．2．1连续图像：指图像强度随空间位置，光线波长λ及时间t变化。
2．2．1．1灰度图象：仅考虑光的能量，不顾及波长（频率）变化，图像视觉上表示为灰度变化，称为灰度图像或单色图像。
2．2．1．2彩色图像：由于不同波长光的彩色效应，则图像视觉上表现为彩色图像。
2．2．1．3静止图像：图像内容不随时间变化的图像称为静止像像，反之称为运动图像。
2．2．2图像数字化：图像数字化是将一幅图像转换成计算机可以处理的形式。图像数字化分为采样与整量两部分。
2．2．2．1采样：将连续图像在空间上进行离散化的过程。其中采样间隔与采样孔是两个重要参数的选择。
2．2．2．2整量：连续图像经过空间离散化，其像素灰度需转换成离散整数值过程。
2．3直方图：表示图像中各灰度级与对应灰度级像素出现的频率间关系。
性质：（1） 直方图上没有位置信息，灰度直方图仅统计某一灰度值的像素个数占全幅像素的比例，同一灰度的像素在图象中空间位置未表示。（2） 直方图是总体灰度概念，直方图可以看出图像总体性质，一幅图像对应唯一直方图，但不同图像可能有相 同直方图。（3） 直方图可叠加性，一幅图像分成数个不同区域，各区域直方图之和即为该像直方图。
应用：1．用于判断图像量化是否恰当 2 ．确定图像分割的阈值
2．4图像文件结构概述：目前存储图像的格式 BMP, TIFF ,PCX, GIF.图像文件格式。特点：（1）图像高度、宽度及各种物理特性。（2）图像彩色意义：调色板（非真彩色） 彩色平面数、颜色数量（色度）。3）图像的位图数据。
2．4．1BMP文件： BMP图象格式是Windows定义的图象标准格式。BMP文件可分四部分：文件头信息、位图信息头、颜色表、位图数据。
2．4．2TIFF文件 Tag Image File Format ：1．文件组成：文件头、标识信息区、图像数据区.2．TIFF文件特点1）应用指针，可存储多幅图像.（2）标识信息区和图像数据区在文件中没有固定位置，图像数据可分 块分别存档.（3） 可存储多份调色板数据。
第三章、图像变换
傅里叶变换
第四章、图像增强（重点：直方图均衡化、规定化）
4图像增强是指对图像的某些特征，如边缘轮廓、对比度等进行变换处理，改善图像的视觉效果,提高图像的清晰度。
4．1图像增强点运算
4．1．1直接灰度变换，对一幅图像进行点运算，输出图像上每个像素灰度值，仅与输入像素有关，直接灰度变换、对比度增强、对比度拉伸都属于点运算变换。
4．1．1．1线性变换：图像f(i，j)的灰度范围为[a,b]，线性变换后图像g(i，j)的范围为
[a´,b´]
4．1．1．2分段线性变换
4．1．1．3非线性灰度变换：当用某些非线性函数如对数函数、指数函数等，作为映射函数时，可实现图像灰度的非线性变换。
4．1．2直方图修整法：灰度直方图反映了数字图像中每一灰度级与其出现频率间的关系,它能描述该图像的概貌。通过修改直方图的方法增强图像是一种实用而有效的处理技术。直方图修整包括直方图均衡化及直方图规定化两类。
4．1．2．1直方图均衡化：将图像直方图修正为均匀分布的变换方法，称为直方图均衡化。
方法：1.归一化处理（p（s）=1）2.通过概率累积去除概率小的灰度值
4．1．2．2直方图规定化：目的：需要特定的直方图，以便增强图像中某些灰度级
方法：1.归一化处理2.分别对原始图像和目标图像进行均衡化处理3.逆变换
4．1．3局部统计法增强
m表示图像均值，f为图像，K为局部标准偏差比率
K >1 输出图像被锐化，属于高通处理。
K <1 输出图像被平滑，属于低通处理。
4．2 图像的空间域平滑 ：目的：为了抑制噪声改善图像质量
4．2．1局部平滑法：原理：假设图像是由许多灰度相等小块组成，相邻像素间存在很高的空间相关性，而噪声是统计独立的。方法：可用邻域内各像素的灰度平均值代替该像素原来的灰度值，实现图像平滑。优势：计算简单，速度快。缺点：图像变的模糊
4．2．2超限像素平滑法：方法：根据相邻灰度差与阈值比较，决定灰度值的改变（具体方法同上）优势：算法对抑制椒盐噪声比较有效，对保护仅有微小灰度差的细节及纹理也有效。同局部平滑法相比，超限像元平滑法去椒盐噪声效果更好。
4．2．3梯度倒数加权平滑：原理：定义相邻像素间灰度之差的绝对值为两点间梯度。具有同一区域内相邻像素间梯度小，不同区域间相邻像素间梯度较大的特点。优势：区域内权值较大，两区域相邻处权值较小，图像平滑的同时，细节保持良好。
4．2．4最大均匀性平滑：目的：避免消除噪声引起边缘模糊。方法：先找出环绕图像中每像素的最均匀区域，然后用该区域的灰度均值代替该像素原来的灰度值。
4．2．5有选择保边缘平滑法：方法：对图像上任一像素(x,y)的5×5邻域，采用9个模板
计算各个模板的均值和方差，对方差进行排序，最小方差所对应的区域灰度均值就是该像素（x,y) 的输出值。优势：以方差作为各个区域灰度均匀性的测度。若区域含有尖锐的边缘，它的灰度方差必定很大.而不含边缘或灰度均匀的区域，它的方差就小，那么最小方差所对应的区域就是灰度最均匀区域。因此有选择保边缘平滑法既能够消除噪声，又不破坏区域边界的细节。
4．2．6空间低通滤波法
4．2．6．1空间滤波器：卷积定理：
h(x,y) 为频率域滤波器H(u，v)的傅里叶逆变换,故称为空间滤波器。
4．2．6．2空间低通滤波器：方法：选择低通空间滤波器，可以对数字图像f(x,y)中高频信息抑制，而对低频轮廓不产生影响。注意：模板不同，中心点或邻域的重要程度也不相同，应根据需要选取合适的模板。同时必须保证全部权系数之和为单位值，这样可保证输出图像灰度值在许可范围内，不会产生“溢出”现象。
4．2．6．3图像卷积运算
4．2．7中值滤波
4．2．7．1中值滤波是对一个滑动窗口内的诸像素灰度值排序（ f1 , f2 , … , fn ），用灰度中值代替窗口中心像素的原来灰度值。
4．2．7．2中值滤波窗口选择：对中值滤波法来说，正确选择窗口尺寸的大小是很重要的环节。一般很难事先确定最佳的窗口尺寸，需通过从小窗口到大窗口的中值滤波试验，再从中选取最佳的。
4．2．7．3中值滤波性质（1）非线性（2）中值滤波对于去除点状尖峰噪声干扰有效。（3）对延续距离小于 w/2(窗口一半)的噪声干扰抑制效果好。
第五章 图像复原与重建
5．1 图像退化模型
5．1．1图像退化：指图像在形成、传输和记录过程中，由于成像系统、传输介质和设备的不完善，使图像的质量变坏。图像复原：尽可能恢复退化图像的本来面目，它是沿图像退化的逆过程进行处理。 图像复原与图像增强：图像增强不考虑图像是如何退化的，而是试图采用各种技术来增强图像的视觉效果。图像增强可以不考虑增强后图像是否失真。 图像复原需知道图像退化机制、退化过程等先验知识，据此找出一种相应的逆处理方法，从而得到复原的图像。图像复原过程：根据图像退化的先验知识建立一个退化模型，以此模型为基础，采用各种逆退化处理方法进行恢复，使图像质量得到改善。
找退化原因→建立退化模型→反向推演→恢复图像
5．1．2线性位移不变系统
5．1．2．1点源：一幅图像可以看成由无穷多小的像素所组成。每一像素都可以看作为一个点源，因此一幅图像也可以看成由无穷多点源组成的。
5．1．3采用线性位移不变系统的原因：1）由于许多退化都可以用线性位移不变模型来近似，这样线性系统中的许多数学工具如线性代数，能用于求解图像复原问题，从而使运算方法简捷和快速。
2）当退化不太严重时，一般用线性位移不变系统模型来复原图像，在应用中有较好的复原结果，且计算大为简化。
3）尽管实际非线性和位移可变的情况能更加准确反映图像复原问题的本质，但在数学上求解困难。只有在要求很精确的情况下才用位移可变的模型去求解，其求解也常以位移不变的解法为基础加以修改而成。
5．1．4图像退化数学模型：获取图像：g（x，y）= f（x，y）* h（x，y）退化后图像：g（x，y）= f（x，y）* h（x，y）+ n(x，y)退化后的离散矩阵： g=H f+ n
5．2 代数恢复方法：代数恢复方法是利用图像退化数学模型：
g=H f + n
在假定已知关于f、H、g的某些知识时，寻求原图像最优估计的方法。
5．2．1无约束最小二乘恢复：由n= g - H f应用最小二乘法
当 H 为满秩方阵时恢复原图像最优估计的方法。对于位移不变系统产生的图像模糊可在频率域进行噪声处理。
5．2．2约束最小二乘恢复：原因：大多数图像恢复过程都存在 H 为奇异阵问题，称为恢复过程存在病态性。为克服求解图像最优估计中的病态性，增加约束条件。
5．2．3平滑约束最小二乘恢复：图像平滑约束是使被恢复的图像保持光滑特性
5．3 频率域恢复方法 ：逆滤波恢复
(1)对退化图像g(x，y)作二维离散傅立叶变换，得到G(u,v)；
(2)计算系统点扩散函数h(x，y)的二维傅立叶变换，得到H(u,v);
(3) 由逆滤波计算 ;
(4)计算 的傅立叶逆变换，求得
5．3．2运动引起模糊去除：由目标或摄影机运动引起模糊（由傅里叶变换位移性质去除）
5．4图像的几何校正
5．4．1几何失真：图像在获取过程，由于拍摄角度、成像系统具有非线性等因素的影响，使获得的图像产生几何失真，也称几何变形。几何失真分为：系统失真和非系统失真。系统失真是有规律的、能预测的；非系统失真则是随机的。
5．4．2几何校正方法：1、直接法：（1）由已知点坐标，解求未知参数；（2）然后从畸变图像出发，根据上述关系依次计算每个像素的校正坐标，（3）同时把像素灰度值赋予对应像素，这样生成一幅校正图像。2、间接法：（1）根据若干已知点，解求未知数。（2）推算出各格网点在已知畸变图像上的坐标(x‘,y’)。（3）由于(x‘,y’)一般不为整数，不会位于畸变图像像素中心，只能由周围像素灰度值内插求得，将它作为对应像素（x,y）的灰度值，据此获得校正图像。
5．4．3像素灰度内插方法：最近邻元法、双线性内插法 、三次内插法
第六章 图像分割（重点：全像跟踪）
6．1 图像分割概述
6．1．1图像分析：是对图像中感兴趣的目标进行检测和测量，以获得它们的客观信息从而建立对图像的描述。步骤：①把图像分割成不同的区域或把不同的对象分开；
②找出分开的各区域的特征；
③识别图像中要找的对象或对图像分类；
④对不同区域进行描述或寻找出不同区域的相互联系，进而找出相似结构或将相关区域连成一个有意义的结构。原理：1、基于灰度的不连续性。（区域之间） 2、基于灰度的相似性。（区域内部）3、同时使用灰度不连续性和灰度相似性。
6．1．2图像分割：指把图像分成互不重叠的区域，并提取出感兴趣目标技术和过程。意义：图像分割是由图像处理到图像分析关键步骤。它是目标表达的基础，对特征测量有重要的影响。同时图像分割及其基于分割的目标表达、特征提取和参数测量等将原始图像转化为更抽象形式，使得更高层图像分析和理解成为可能。方法：1）基于边缘提取分割：先提取区域边界，再确定边界 限定的区域。2）区域分割：从图像出发，按“有意义”的属性一致的原则，确定每个像元的归属区域，形成一个区域图。3）区域增长：从像元出发，按属性一致的原则，将属性接近的连通像元聚集成区域。4）分裂—合并法：既存在图像的划分，又有像元的合并。未来研究方向：1）寻求更好的分割算法。2）分割质量评价体系。3）分割自动化。 6。2 常用边缘检测算子
6。2。1概述：边缘可大致分为阶跃状和屋顶状两种。阶跃状边缘位于两边的像素灰度值有明显不同的地方；屋顶状边缘位于灰度值从增加到减少的转折处。
6。2。1．2阶跃状边缘特性：一阶导极值点与二阶导为零点是边缘
6。2。1．3屋顶状边缘特性：一阶导为零点与二阶导极值点是边缘
（几种监测边缘算子）
6。2．2梯度算子 ：原理：对阶跃边缘，在边缘点处一阶导数有极值，因此可计算每个
像元处的梯度来检测边缘点（对于离散图像，常用差分近似表示偏导数）。方法：梯度的大小代表边缘的强度，梯度方向与边缘走向垂直。缺点：梯度算子仅用最近邻像素的灰度计算，对噪声敏感，无法抑制噪声的影响 。
6。2．3 Prewitt、Sobel算子、Laplace算子、马尔算子 （滤波器的模板）
6。2．4方向算子：利用一组模板，计算不同方向上像素差分值，取其中最大的值作为边缘强度，而将与之对应的方向作为边缘方向。
6。2．7曲面拟合法 ：目的：基于差分检测图像边缘的算子对噪声敏感。检测噪声比较严重的图像，难以取得满意的效果。用平面或高阶曲面来拟合图像中某一小区域的灰度表面，用拟合平面或曲面中心点的微分或二阶微分检测边缘，可减少噪声影响。
6．3 边缘跟踪
6．3．1光栅跟踪：光栅跟踪是利用行扫描技术，结合阈值检测实现边缘跟踪的方法。步骤：⑴ 确定一个比较高的阈值d，把高于该阈值的像点作为对象点。称该阈值为“检测阈值”⑵ 用检测阈值d对图像每一行像素进行检测，超过d的点都接受为对象点并作为下一步跟踪起始点⑶选取一个较低阈值t作为跟踪阈值。该阈值可以根据不同准则来选择，根据相邻对象点之灰度差允许最大值取为4，作为跟踪阈值。⑷确定邻域点。⑸ 扫描下一行像素，凡和上行检测出来的对象点相邻像素，且灰度差小于跟踪阈值t的，都接受为对象点，反之去除。⑹若下一行像素，无邻域像元被接受为对象点， 这条曲线的跟踪便可结束。若同时有两个，甚至三个邻域点均被接受为对象点，则说明曲线发生分枝，跟踪将对各分枝同时进行。一曲线跟踪结束，从第一行其它检出点开始另一条曲线跟踪。⑺对于未被接受为对象点的其他各行像点，再次用检测阈值进行检测，并以新检出点为起始点，重新使用跟踪阈值程序，以检测出不是从第一行开始的其他曲线。⑻当扫描完最后一行，跟踪便可结束。光栅顺序跟踪和光扫描方向有关，因此最好用其它方向再跟踪一次。
6．3．2全向跟踪 ：跟踪方向不仅局限于逐行（或列）的光栅式扫描，当跟踪方向可以是任意、并且有足够大的跟踪距离，这种跟踪方法称为全向跟踪。全向跟踪是改变了邻点定义和跟踪准则的光栅跟踪。步骤：⑴ 按光栅扫描方式对图像进行扫描，用检测阈值找出一个作为开始跟踪的流动点（沿被检测曲线流动）。(a)遇到分枝点或者若干曲线交点，则先取其中和流动点性质最 接近的一个作为新流动点，继续进行跟踪。而把其余点存储起来，以备继续跟踪。当按跟踪准则没有未被检测过的点可接受为对象点，一个分枝曲线跟踪结束。
(b)在一个曲线跟踪完毕，回到最近一分枝点处，取出另一性质最接近该分枝点像素作为新的流动点，重复上述跟踪程序。
(c)当全部分枝点处全部待跟踪点均跟踪完毕，返回第一步，继续扫描，以选取新的流动点。
⑶ 当整幅图像扫描完成时，跟踪程序便结束。
注意：全向跟踪改进了顺序跟踪法，首先找出初始点，其八邻点全部考虑，先跟踪一条曲线，其余保留，等第一条曲线结束后返回其它已保留的点，跟踪另一条曲线。
第七章 图像编码与压缩（重点：霍夫曼编码）
7．1．1图像数据压缩目的：1、图像数据特点 ：图像数据是海量数据，需要巨大的存储空间
2、图像数据压缩：主要研究图像数据表示、传输、变换和编码方法，目的是减少存储数据所需空间和传输数据所用时间3、图像编码与压缩：对图像数据按一定规则进行变换和组合，达到以尽可能少的代码（符号）来表示尽可能多的信息。
7．1．2图像压缩方法：1、信息保持型数据压缩：要求在不丢失信息条件下，压缩图像信息的比特数。主要用于图像信息保存，即要图像存储能保持有效信息，又能快速存取图像。如遥感图像，摄取地球许多地区海量数据，要求图像压缩保证多次存取不失真。2、保真度型数据压缩：传送图像应能适应通信通道限制，若接收端是人观看，由于人眼生理特性不需要过高空间分辨率和灰度分辨率，压缩过程允许丢失一些人感觉不到信息，即允许微量失真的压缩。例数字电视、多媒体和图像传输。3、特征保持型数据压缩：许多图像处理目的是为了计算机识别、分析、控制，并不需要全部图像空间细节和灰度细节。只要能保存图像中感兴趣特征。例在机场跑道识别中，农田和房屋信息都可压缩。
7．1．3保真度准则：描述解码图像相对原始图像偏离程度的测度，称为保真度。1 客观保真度准则：原图像和解码图像之间的均方根误差和均方根信噪比两种。2 主观保真度准则：很多解压图像最终是供人观看的，采用一组（不少于20人）观察者观察解压图像，并将他们对该图像的评分取平均，用来评价一幅图像主观质量。
7．1．4冗余数据与压缩比：描述图像信源的数据由有用数据和冗余数据两部分组成。冗余数据有：编码冗余、像素间冗余、心理视觉冗余3种。
7．1．5图像编码压缩：根据解压后图像和原始图像间是否具有误差，图像编码压缩分为无误差编码（亦称无失真、无损、信息保持）和有误差编码（有失真或有损）两大类。根据编码作用域划分，图像编码为空间域编码和变换域编码两大类。
7．2 统计编码方法
7．2．1图像冗余度和编码效率
7．2．2霍夫曼编码：根据源数据发生概率进行编码。在源数据中出现概率越大的符号，编码后相应的码长越短；出现概率越小的符号，其码长越长，从而达到用尽可能少的码符表示源数据。它在无损变长编码方法中是最佳的。
7．2．2．1最佳变长霍夫曼编码：①把输入元素按概率从大到小排列起来,然后把概率最小的两个元素概率加起来; ②把它同其余元素概率由大到小排序,然后把两个最小概率加起来,再重新排队; ③重复②,直到最后只剩下两个概率为止。（4）从最后两个概率开始逐步向前进行编码。对于概率大的消息赋予0，小的赋予1。
7．2．2．2二叉数霍夫曼编码：① 从左到右将上述频率由大到小顺序排序。② 将频率最小两元素，作为二叉数叶节点，其和作为根节点。 新根节点与其余元素按频率排序。③ 重复②,直到最后得到的和为1的节点。④ 将形成二叉数子节点左边标记0，右边标记1。将最大根节点至最小叶节点（0，1）标记串接，形成各元素编码。