数字图像处理

chapter1 概论

图像表示

$\begin{array}{rl}\text{2-D信号}& f(x,y)\\ \bullet & x,y:2-\text{D空间}X-Y\text{中坐标点的位置}\\ \bullet & f\text{:代表图像在}(x,y)\text{的性质}F\text{的数值}\\ \bullet & f、x、y\text{的值可以是任意实数}\\ \bullet & \text{在数字图像中,f、}x、y\text{为离散值}\end{array}$

chapter2 数字图像基础

简单的图像形成模型

$$\begin{array}{}\text{(1)}& f(x,y)=i(x,y)\cdot r(x,b)\end{array}$$

其中：
$f(x,y)$是图像幅度分布
$i(x,y)$是入射场分布，取决于照射源特性
$r(x,y)$是反射系数分布，取决于成像物体的特性
$\begin{array}{c}0<i(x,y)<\mathrm{\infty }\\ 0<r(x,y)<1\end{array}$

量化与取样基本概念

图像数字化：将模拟图像经过离散化之后，得到⽤数字表示的图像。数字化包括取样和量化两个过程。
1.取样：是将在空间上连续的图像转换成离散采样点（即像素）集的操作。 即：空间坐标的离散化 。
2.量化 ：把取样后所得的各像素灰度值从模拟量到离散量的转换称为图像 灰度化。即：灰度的离散化。

图像表示

1. 可视灰度阵列图像
2. ⼆维数值阵列图像（因为一个光源不发光就是黑暗的，发光就是明亮的，所以0表示黑色，1表示白色）

量化

$\text{存储图像所需比特数}b=MN[{\log }_{2}L]\ne MNk$
k比特图像 <--> L级图像

图像内插

图像内插：用已知数据来估计未知位置的数值的处理

最近邻: $f(x,y)=\{\begin{array}{ll}f(0,0)& \text{当}x<0.5,y<0.5\\ f(0,1)& \text{当}x<0.5,y>0.5\\ f(1,0)& \text{当}x>0.5,y<0.5\\ f(1,1)& \text{当}x>0.5,y>0.5& \end{array}$

双线性内插：$v(x,y)=ax+by+cxy+d$
三双线性内插：$v(x,y)=\sum _{i=0}^3\sum _{j=0}^3{a}_{ij}{x}^i{y}^j$

(三)双线性内插过程

邻接

1. 4邻接$N_4(p)$：p上下左右四个相邻的格子
2. 8邻接$N_8(p)$：p八个方位的格子
3. 对角邻接$N_D(p)$：p对角的格子
4. m邻接(混合邻接): 对于$p,q\in V$,如果$q\notin N_4(p)$,或者$q\in N_D(p)$且$N_4(p)\cap N_4(q)\cap V=\mathrm{\varnothing }$,则$p$和$q$是m邻接的。

距离度量

距离度量函数的定义：
给定3个像素$p,q,r$,坐标分别为$(p_1,p_2),Q(q_1,q_2),(r_1,r_2)$,如果下列条件满足，则$D$是距离度量函数：
1非负性：$D(\mathit{p},\mathit{q})\ge 0$ (当且仅当$\mathit{p}=\mathit{q}$取等号)
2自反性：$D(\mathit{p},q)=D(p,q)$
3三角不等式：$D(p,r)\le D(p,q)+D(q,r)$

---

这是一个分割线~

---

欧式距离：$D_e(p,q)=F(x-u{)}^2+(y-v{)}^2{]}^{\frac{1}{2}}$
城市距离：$D_4(p,q)=|x-u|+|y-v|$
棋盘距离：$D_8(p,q)=max(|x-u|,|y-v|)$

算术操作作用

图像降噪：对多幅含噪图像相加 $g(x,y)=f(x,y)+\eta (x,y)$
图像差异增强：图像相减 $g(x,y)=f(x,y)-h(x,y)$
图像阴影矫正：图像相除 $g(x,y)=f(x,y)÷h(x,y)$
图像ROI提取：图像相乘 $g(x,y)=f(x,y)\times h(x,y)$

chapter3 灰度变换与空域滤波

背景知识

空间域：包含图像像素的简单平面
灰度变换：对单个像素进行操作
$\begin{array}{rl}& \mathit{g}(\mathit{x},\mathit{y})=\mathit{T}(\mathit{f}(\mathit{x},\mathit{y}))\\ & f(x,y)\text{:输入图像}\\ & g(x,y)\text{:输出图像}\\ & T\text{:在点}(x,y)\text{的邻域上定义的关于灰度}& f\text{的一种算子}\end{array}$

---

这是一个分割线~

---

空间滤波：

• 通过邻域处理改善图像质量
• 邻域：决定操作的图像局部范围
• 最小邻域：1 × 1

基本灰度变换

灰度变换：$s=T(r)$

• $r$为数字量且取值有限，该映射可通过查找 表实现
• 保序变换（rank-preserving）:变换前后，灰度级的相对大小关系不变或正好相反

图像反转：$s=L-1-r$

• 适用于增强嵌入在图像暗色区域中的白或灰细节
• 事实上内容相同，但分析时变得更容易

对数变换：$s=cln(1+r)$

• 扩展暗灰度级，压缩高灰度级
• 幂律变换较之更常用

伽马变换：$s=c{r}^{\gamma }$

• 伽马校正：图像获取、打印、显示设备幂律响应。输入显示设备前进行校正
• 对比度增强：当$0<\gamma <1$整体偏暗；当$\gamma >1$整体偏亮。

分段线性变换：

• 对比度拉伸：扩展灰度级动态范围
• 灰度级分层：突出图像中特定的灰度区间

直方图特点

灰度直方图：

• 一种灰度级的函数，表示数字图像中每一灰度级与该灰度出现的频数之 间的对应关系
• 给定一副分辨率为M×N的灰度图像，灰度级为$r_k$的像素数为$n_k$，该图像 的归一化直方图：

$$\begin{array}{}\text{(1)}& p(r_k)=\frac{n_k}{MN}\end{array}$$

• 可将$r_k$视为随机变量，$p(r_k)$反映随机变量$r_k$在图像中出现的概率

直方图特点：

• 一幅特定的图有唯一的直方图，但反之不成立
• 直方图在一定程度上可以反映图像的状况
• 例如: 有时可以根据直方图确定分割物体和背景的边界

直方图均衡：

• 将直方图变换为均匀分布，最大化图像的动态范围。
• 通常，用直方图拉伸来执行直方图均衡处理：$s=T(r)$

离散情况的直方图均衡化：

$$\begin{gathered} \begin{array}{}\text{(2)}& s_k=T(r_k)=(L-1)\sum _{j=0}^k{p}_r(r_j)=\frac{L-1}{MN}\sum _{j=0}^k{n}_j \\ k=0,1,2,...,L-1\end{array} \end{gathered}$$

1.灰度分布

灰度级	0	1	2	3	4	5	6	7
像素数	19	25	21	16	8	6	3	2

2.直方图分布

灰度级	0	1	2	3	4	5	6	7
直方图	0.19	0.25	0.21	0.16	0.08	0.06	0.03	0.02

3.累计直方图

灰度级	0	1	2	3	4	5	6	7
累计直方图	0.19	0.44	0.65	0.81	0.89	0.95	0.98	1

4.灰度映射关系

旧灰度级	0	1	2	3	4	5	6	7
$T(r_i)$	0.19*7=1.33	0.44*7=3.08	1.65*7=4.55	0.81*7=5.67	0.89*7=6.23	0.95*7=6.65	0.98*7=6.86	1*7=7
新灰度级	1	3	5	6	6	7	7	7

5.均衡化后的直方图

灰度级	0	1	2	3	4	5	6	7
直方图	0	0.19	0	0.25	0	0.21	0.24	0.11

---

这是一个分割线~

---

直方图匹配（规定化）：$p_r(r)$ ==> $p_z(z)$
借助直方图变换实现规定/特定的灰度映射

1. 对原始直方图进行灰度均衡化

$$\begin{array}{}\text{(3)}& s=T(r)=(L-1){\int }_0^r{p}_r(w)\mathrm{d}w;s_k=T_r(r_k)=\sum _{i=0}^k{p}_r(r_i)\end{array}$$

2. 规定需要的直方图，计算能使规定直方图均衡化的变换

$$\begin{array}{}\text{(4)}& G(z)=(L-1){\int }_0^z{p}_z(v)\mathrm{d}v=s;T_z(z_l)=\sum _{j=0}^l{p}_z(z_j)=s_l\end{array}$$

3. 将原始直方图对应映射到规定直方图

$$\begin{array}{}\text{(5)}& z=G^{-1}(s)=G^{-1}[T(r)]\end{array}$$

直方图均衡vs直方图匹配（规定化）
直方图均衡：
• 自动增强
• 效果不易控制
• 总得到全图增强的结果
直方图匹配：
• 有选择地增强
• 须给定需要的直方图
• 可特定增强的结果

空间滤波机制

相关运算：

$$\begin{array}{}\text{(6)}& g(x,y)=\sum _{s=-a}^a\sum _{t=-b}^{b}w(s,t)f(x+s,y+t)\end{array}$$

卷积运算：

$$\begin{array}{}\text{(7)}& g(x,y)=\sum _{s=-a}^a\sum _{t=-b}^{b}w(s,t)f(x-s,y-t)\end{array}$$

简单理解：相关就是将核中心放到(x, y)上，做对应的矩阵点乘，而卷积则需要先将核翻转180°再做与相关运算相同的计算。

空域平滑

局部平均法：
用某象素邻域内的各点灰度的平均值来代替该象素原来的灰度值。

$$\begin{array}{}\text{(8)}& g(x,y)=\frac{\sum _{s=-a}^a\sum _{t=-b}^{b}w(s,t)f(x+s,y+t)}{\sum _{s=-a}^a\sum _{t=-b}^{b}w(s,t)}\end{array}$$

平均、加权平均（特例：按高斯分布的-->高斯滤波器）

中值滤波：
用局部邻域（窗口）里的中值来代替上述局部平均法中的局部平均值。即将以该点为中心的某个窗口框住的各象素的中间值作为处理后图像中该点象素的值。

空域锐化

空域锐化的作用：它能加强图像的轮廓，使图像看起来比较清楚。
锐化处理的主要目的：突出灰度的过渡部分

一阶微分和二阶微分的锐化滤波器：

$$\begin{array}{}\text{(9)}& \frac{\partial f}{\partial x}=f(x+1)-f(x)\end{array}$$$$\begin{array}{}\text{(10)}& \frac{{\partial }^{2}f}{\partial x^2}=f(x+1)+f(x-1)-2f(x)\end{array}$$

一阶微分锐化图像：
作用：突出高频高频成分，从而使图像轮廓清晰
锐化：$g(x,y)=f(x,y)+cG|f(x,y)|$

梯度算子
1.直接差分算子 2.Roberts算子 3.Sobel算子 4.Prewitt算子 5.Kirsch算子

算子的使用（该部分在实际应用中肥肠重要，请务必注意）
根据卷积的交换律和运算法则，可先将核翻转180°（记为$w_{flip}$）再做点乘。

$$\begin{array}{}\text{(11)}& G|f(x,y)|=f(x,y)\ast w(x,y)=\sum _{s=-a}^a\sum _{t=-b}^b{w}_{flip}(s,t)f(x+s,y+t)\end{array}$$

这样做主要是为了方便编程。

---

这是一个分割线~

---

二阶微分锐化

$$\begin{array}{}\text{(12)}& \frac{{\partial }^{2}f}{\partial x^2}=f(x+1)+f(x-1)-2f(x)\end{array}$$

常用的拉普拉斯算子：

$$\begin{array}{}\text{(13)}& g(x,y)=\{\begin{array}{ll}f(x,y)+c{\mathrm{\nabla }}^{2}f(x,y)& \text{如果拉普拉斯算子中心元素为正}\\ f(x,y)-c{\mathrm{\nabla }}^{2}f(x,y)& \text{如果拉普拉斯算子中心元素为负}\end{array},c>0\end{array}$$

chapter4 频率域滤波

二维数据的DFT变换公式

正变换：

$$\begin{array}{}\text{(1)}& F(u,v)=\sum _{x=0}^{M-1}\sum _{y=0}^{N-1}f(x,y)e^{-j2\pi (\frac{ux}{M}+\frac{vy}{N})}\end{array}$$

反变换：

$$\begin{array}{}\text{(2)}& f(x,y)=\frac{1}{MN}\sum _{u=0}^{M-1}\sum _{v=0}^{N-1}F(u,v)e^{j2\pi (\frac{ux}{M}+\frac{vy}{N})}\end{array}$$

频率域分析就是分析$F(u,v)$

这里推荐😀观看一个讲FFT比较清晰的视频👉️视频传送门👈️重点看前25分钟内容。

频域滤波流程

(a)大小为$M\times N$的图像$f$
(b)0- 填充至后大小为$P\times Q$的 图 像 $f_p$ ${\text{( c) ( - 1) }}^{x+y}{f}_p:$平移频谱的图像
(d)平移后的频谱$F_p$
(e) 大小为$P\times Q$的中心对称高斯低通滤波器$H$
(f) 滤波后的频谱$H{F}_p$
(g) $g_p={\mathcal{F}}^{-1}(H{F}_p)(-1{)}^{x+y}:H{F}_p$反DFT结果乘以$(-1{)}^x+y$
(h) 最终结果大小为$M\times N$的图像$g$: 裁剪$g_p$的前$M$行和前$M$列

滤波器平滑图像

为什么低通滤波器可以平滑图像呢？🤔
因为低通滤波器只允许低频通过，截止高频。而我们再重新看一下高频和低频的定义就明白了。🤓
低频指的是频率较低的部分，通常与较慢的变化、较大的波动相关。
高频指的是频率较高的部分，通常与较快的变化、细节、尖锐的特征相关。
在图像处理领域，低频通常代表图像中的大范围、平滑的亮度变化（如背景或平滑区域），而高频则对应图像中的细节、边缘或纹理。

理想低通滤波器

$$\begin{array}{}\text{(3)}& H(u,v)=\{\begin{array}{ll}1,& D(u,v)\le D_0\\ 0,& D(u,v)>D_0\end{array},\text{其中}D(u,v)=\sqrt{{(u-\frac{P}{2})}^2+{(v-\frac{Q}{2})}^2}\text{是(u,v)与频率中心点的距离}\end{array}$$

高斯低通滤波器

$$\begin{array}{}\text{(4)}& H(u,v)=e^{-\frac{D^2(u,v)}{2D_0^2}}\end{array}$$

n阶巴特沃斯低通滤波器

$$\begin{array}{}\text{(5)}& H(u,v)=\frac{1}{1+{\left[\frac{D(u,v)}{D_0}\right]}^{2n}},\text{其中}D(u,v)=\sqrt{{(u-\frac{P}{2})}^2+{(v-\frac{Q}{2})}^2}\end{array}$$

滤波器锐化图像

理想高通滤波器

$$\begin{array}{}\text{(6)}& H(u,v)=\{\begin{array}{ll}0,& D(u,v)\le D_0\\ 1,& D(u,v)>D_0& & \end{array}\end{array}$$

布特沃斯高通滤波器

$$\begin{array}{}\text{(7)}& H(u,v)=\frac{1}{1+{\left[\frac{D_0}{D(u,v)}\right]}^{2n}}\end{array}$$

高斯高通滤波器

$$\begin{array}{}\text{(8)}& H(u,v)=1-e^{-\frac{D^2(u,v)}{2D_0^2}}\end{array}$$

chapter5 图像复原与重建

噪声是什么？怎么消除噪声？

加性噪声：是指在信号的传输或采样过程中，噪声信号与原始信号相加，造成原始信号的扰动。噪声的影响是以加法形式叠加到信号中的，因此被称为“加性”噪声。

噪声模型

高斯噪声（Gaussian noise）

$$p(z)=\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(z-\overline{z})}{2{\sigma }^2}}$$

瑞利噪声（Rayleigh noise）

$$p(z)=\{\begin{array}{ll}\frac{2}{b}(z-a)e^{-\frac{(z-a{)}^2}{b}},& z\ge a\\ 0,& z<a& \end{array}$$

爱尔兰（伽马）噪声（Erlang(Gamma) noise）

$$p(z)=\{\begin{array}{ll}{\displaystyle \frac{a^b{z}^{b-1}}{(b-1)!}}{e}^{-az},& z\ge a\\ 0,& z<a\end{array}$$

指数噪声（Exponential noise）

$$p(z)=\{\begin{array}{ll}a{e}^{-az},& z\ge 0\\ 0,& z<0& \end{array}$$

均匀噪声（Uniform noise）

$$p(z)=\{\begin{array}{ll}\frac{1}{b-a},& a\le z\le b\\ 0,& \text{其他}& \end{array}$$

椒盐噪声（Salt-and-pepper noise）

$$p(z)=\{\begin{array}{ll}{P}_a,& z=a\\ P_b,& z=b\\ 1-P_a-P_b,& \text{其他}& \end{array}$$

---

这是一个分割线~

---

估计噪声参数

1. 从均匀条带估计均值、方差
2. 从直方图推测噪声类型，并利用均值方差估计对应参数

空间滤波

基于空域滤波的方法仅针对加性噪声

$$g(x,y)=f(x,y)+\eta (x,y)$$

---

这是一个分割线~

---

均值滤波器：
算术平均滤波器(Arithmetic mean filters)

$$\hat{f}(x,y)=\frac{1}{mn}\sum _{(s,t)\in S_{xy}}g(s,t)$$

几何平均滤波器(Geometric mean filter)

$$\hat{f}(x,y)={[\prod _{(s,t)\in S_{xy}}g(s,t)]}^{\frac{1}{mn}}$$

谐波平均滤波器(Harmonic mean filter)

$$\hat{f}(x,y)=\frac{mn}{\sum _{(s,t)\in S_{xy}}\frac{1}{g(s,t)}}$$

可以处理盐粒噪声和类似高斯噪声的其他噪声，但不能处理胡椒噪声。

反谐波平均滤波器(Contra harmonic filter)

$$\hat{f}(x,y)=\frac{\sum _{(s,t)\in S_{xy}}[g(s,t){]}^{Q+1}}{\sum _{(s,t)\in S_{xy}}[g(s,t){]}^Q}$$

Q：滤波器的阶数。
降低或消除椒盐噪声。不同Q的取值结果差异较大。
Q为正值，消除胡椒噪声；Q为负值，消除盐粒噪声。

---

这是一个分割线~

---

次序统计滤波器 中值滤波器(Median filter)

$$\hat{f}(x,y)=\underset{(s,t)\in S_{xy}}{max}\{g(s,t)\}$$

最大最小滤波器(Max and min filters)

$$\hat{f}(x,y)=\underset{(s,t)\in S_{xy}}{max}\{g(s,t)\},\hat{f}(x,y)=\underset{(s,t)\in S_{xy}}{min}\{g(s,t)\}$$

最大：找到图片中最亮点，用于削弱与明亮区域相邻的暗色区域。例如消除胡椒噪声。

中点滤波器(Midpoint filter)

$$\hat{f}(x,y)=\frac{1}{2}[\underset{(s,t)\in S_{xy}}{min}\{g(s,t)\}+\underset{(s,t)\in S_{xy}}{max}\{g(s,t)\}]$$

统计排序滤波器和平均滤波器的结合。适用于处理随机噪声，比如高斯噪声或者平均噪声。

---

这是一个分割线~

---

以上滤波器的设计都比较简单，但有时候我们得到的图像，其实可以再细分为很多区域，而各个区域之间的特性又有不同，所以我们可以设计出一种不断适应各个区域更改参数来提升滤波图像的质。这种滤波器我们叫它自适应滤波器。

自适应滤波器：特性随着某个邻域内图像的统计特性而变化。
效果：优于前面的非自适应滤波器，但增大了滤波器的复杂度。

自适应局部降噪滤波器

$$\hat{f}(x,y)=g(x,y)-\frac{{\sigma }_{\eta }^2}{{\sigma }_{S_{xy}}^2}[g(x,y)-{\overline{z}}_{S_{xy}}]$$

这个滤波器的设计推荐阅读👉️课本👈️原文P233（讲的非常详细），我这里就不讲了。

自适应中值滤波器
自适应中值滤波算法流程

• 层次A：若$z_{\min }<z_{\mathrm{med}}<z_{\max }$,则转到层次B
  否则，增大$S_{\mathrm{xy}}$的尺寸
  若$S_{xy}\le S_{max}$,则重复层次A
  否则，输出$z_{\mathrm{med}}$
• 层次B：若$z_{min}<z_{xy}<z_{max}$,则输出$z_{x}y$
  否则，输出$z_{\mathrm{med}}$

chapter6 色彩图像处理

色彩模型

RGB（红、绿、蓝）模型
基于笛卡尔坐标系，三原色位于3个角上

CMY 彩色模型

• 青色、深红色、黄色是光的二次色，是颜料的原色
• 大多数在纸上沉积彩色颜料的设备，如彩色打印机和复印机
• 要求输入 CMY 数据或在内部进行 RGB 到 CMY 的转换：
• $$\left[\begin{array}{c}C\\ M\\ Y\end{array}\right]=1-\left[\begin{array}{c}R\\ G\\ B\end{array}\right]$$

CMYK 模型

• 等量的颜料原色可以生成黑色，但为打印目的组合这些颜色产生的黑色 是不纯的。
• 为了生成真正的黑色（在打印中起主要作用的颜色），加入了第4种颜 色——黑色，提出了CMYK彩色模型

HSI 彩色模型

• 即色调（hue ）、饱和度（saturation） 、强度（intensity）
• I 分量与图像的彩色信息无关
• H 和 S 分量与人感受颜色的方式紧密相连（合成色度）

chapter7 图像分割与形态学处理

图像分割：将图像细分为构成它的子区域或物体。

令集合$R$代表整个图像区域，对$R$的分割可看做将$R$分成若干个满足 下述条件的非空的子集(子区域)$R_1,R_2,\cdot \cdot \cdot ,R_n$的过程，满足：

1. U${}_{i=1}^n{R}_i=R;$
2. 对任意$i\ne j$, 有$R_i\cap R_j=\mathrm{\varnothing };$
3. 每个子区域 $R_1,R_2,\cdot \cdot \cdot ,R_n$是连通的；
4. 对于各个子区域，有逻辑属性$Q$为真 $Q(R_i)=$TRUE
5. 对其中任意两个和两个以上相邻子区域之并，其逻辑属性$Q$为假，即：$Q(R_i\cup R_j)=$FALSE,$i\ne j$