数字图像处理

图形学►总结 , 评论

一、数字图像处理基础

数字图像的定义

像素组成的二维排列，可以用矩阵表示

数字图像由二维的元素组成，每一个元素具有一个特定的位置 和幅值 ，这些元素就称为像素

对于单色（灰度）图像而言，每个像素的亮度用一个数值来表示，通常数值范围在 到 之间， 表示黑、 表示白，其它值表示处于黑白之间的灰度

彩色图像可以用红、绿、蓝三元组的二维矩阵来表示。通常，三元组的每个数值也是在 到 之间， 表示相应的基色在该像素中没有，而 则代表相应的基色在该像素中取得最大值

像素的定义

数字图像由二维的元素组成，每一个元素具有一个特定的位置 和幅值 ，这些元素就称为像素

图像的采样和量化

大多数传感器的输出是连续电压波形

为了产生一幅数字图像，需要把连续的感知数据转化为数字形式，包括两种处理：取样和量化

  • 取样：图像空间坐标的数字化
  • 量化：图像函数值（灰度值）的数字化

数字图像的表示

  • 二维离散亮度函数： ， 说明图像像素的空间坐标 函数值 代表了在点 处像素的灰度值

  • 二维矩阵： 说明图像的宽和高。 矩阵元素 ，的值，表示图像在第 行，第 列的像素的灰度值； 表示几何位置

  • 图像描述信息：如图像高度和宽度等信息

  • 图像数据：顺序存放的连续数据

  • BMP格式：

    1. 位图文件头
    2. 位图信息头
    3. 调色板
    4. 图像数据

图像的质量

层次

  • 灰度级：表示像素明暗程度的整数量 例如：像素的取值范围为 ，就称该图像为 个灰度级的图像
  • 层次：表示图像实际拥有的灰度级的数量 例如：具有 种不同取值的图像，可称该图像具有 个层次

图像数据的实际层次越多，视觉效果就越好

image-20230606181639519

对比度

指一幅图像中灰度反差的大小对比度=最大亮度/最小亮度

image-20230606212959932

亮度

image-20230607221644682

尺寸大小

image-20230607221630726

细微层次

image-20230607221622242

颜色饱和度

所谓的饱和度，指的其实是色彩的纯度，（也有叫彩度的）纯度越高，表现越鲜明，纯度较低，表现则较黯淡。如果说雪的颜色是最白的，那么可以说它的饱和度就是 了，那么同样是白色的东西，越没有雪那么白的我们就可以说它的饱和度越低。

像素的一些基本关系

相邻像素

  • 4 邻域

    用 表示像素 的 4 邻域

  • D 邻域

    对角上的点

    用 表示像素 的 D 邻域

  • 8 邻域

    4 邻域的点＋D 邻域的点

邻接与连通性

  • 4 连通：对于具有值 的像素 和 ，如果 在集合 中，则称这两个像素是 4 邻接的

  • 8 连通：对于具有值 的像素 和 ，如果 在集合 中，则称这两个像素是 8 邻接的

  • m 连通

    对于具有值V的像素 和 ，如果: 在集合 中，或 在集合 中，并且 与 的交集没有值 的像素则称这两个像素是 m 邻接的，即 4 邻接和 D 邻接的混合邻接。

  • 通路：如果从 点到 点，其中的每个点与前后都是 K 邻接的（K 代表 4、8、m），则说这两个点之间存在一条K通路，n是这个通路的长度，如果 和 是重合的，那么说这是一条闭合通路。

    连通：对于图像中的某一个像素子集 U 和其中的两个点 和 ，如果 和 之间有一个有 U 中全部元素构成的通路，那就说 和 是连通的。

  • 连通性是描述区域和边界的重要概念

  • 两个像素邻接的两个必要条件是：

    1. 两个像素的位置是否相邻
    2. 两个像素的灰度值是否满足特定的相似性准则（或者是否相等）

image-20230606181720630

image-20230606182529056

距离

  • 定义：对于像素 、 和 ，分别具有坐标 ， 和 ，如果

    1. （，当且仅当 ）
    3. 则称 D 是距离函数或度量

  • 欧式距离定义 对于这个距离计算法，具有与 距离小于等于某个值 的像素是：包含在以 为圆心，以 为半径的圆平面

  • 距离（城市距离） 具有与 距离小于等于某个值r的那些像素形成一个菱形

  • 距离（棋盘距离） 具有与 距离小于等于某个值r的那些像素形成一个正方形

二、空间域图像增强

图像处理分为两大类：

  • 空间域：对原始图像的像素直接处理
  • 变换域：
    • 原始图像变换到变换域
    • 变换域处理
    • 反变换回到空间域

空间域增强：

是原图像

是处理后的图像

是作用于 的操作，定义在 的邻域

空间域增强的简化形式：

是 在任意点 的灰度级

是 在任意点 的灰度级

图像增强的目的与意义

  1. 好看
    • 对于人，更容易直接发现图像的特征
    • 对于机器，更容易后续处理
  2. 改善图像的视觉效果
  3. 强调图像的整体或局部特性，更易获得图像中的有用信息

基本概念

图像增强分为两类：

  • 空间域增强：对图像的像素直接处理
  • 频域增强：修改图像的傅里叶变换

点运算

  1. 图像反转 为图像的灰度级。作用：黑的变白，白的变黑

  2. 对数变换 有时原图的动态范围太大，超出某些显示设备的允许动态范围，如直接使用原图，则一部分细节可能丢失。解决办法是对原图进行灰度压缩，如对数变换

  3. 幂次变换 提高灰度级，在正比函数上方，使图像变亮 降低灰度级，在正比函数下方，使图像变暗

image-20230606182517402

image-20230606213158332

  1. 分段线性变换

    对比度拉伸：提高图像处理时灰度级的动态范围

    image-20230606183800308

  2. 灰度级切片

    1. 关心范围指定较高值，其它指定较低值
    2. 关心范围指定较高值，其它保持不变

    image-20230606183621743

  3. 位平面切片

    假设图像中每个像素的灰度级是 ，这可以用 位来表示，假设图像是由 个 位平面组成，范围从位平面 到位平面 。其中，位平面 包含图像中像素的最低位，位平面 包含像素的最高位

    image-20230606183602653

    作用

    • 通过对特定位提高亮度，改善图像质量
    • 较高位（如前 位）包含大多数视觉重要数据
    • 较低位（如后 位）对图像中的微小细节有作用
    • 分解为位平面，可以分析每一位在图像中的相对重要性

image-20230606190604417

image-20230606213449109

代数运算

  • 算术运算

    • 加

      1. 去除叠加性噪声
      2. 生成图像叠加效果

    • 减

      1. 显示两幅图像的差异，检测同一场景两幅图像之间的变化 如：前景检测
      2. 去除不需要的叠加性图案 图像分割：如分割运动的车辆，减法去掉静止部分，剩余的是运动元素和噪声

    • 乘

      图像的局部显示

      用二值蒙板图像与原图像做乘法

    • 除:一幅图像取反和另一幅图像相乘

  • 逻辑运算

    • 非

      获得一个阴图像

      获得一个子图像的补图像

    • 与

      求两个子图像的相交子图

    • 或

      合并子图像

    • 异或

      获得相交子图像

直方图运算

图像直方图的定义1

一个灰度级在范围 ， 的数字图像的直方图是一个离散函数

是图像中灰度级为 的像素个数

是第 个灰度级，

由于 的增量是 ，直方图可表示为：

即图像中不同灰度级像素出现的次数

图像直方图的定义2

其中 是图像中的像素总数

第二种定义

  • 使函数值正则化到 区间，成为实数函数
  • 函数值的范围与像素的总数无关
  • 给出灰度级 在图像中出现的概率密度统计

image-20230606190711058

直方图均衡化

希望一幅图像的像素占有全部可能的灰度级且分布均匀，能够具有高对比度

使用的方法是灰度级变换：

基本思想是把原始图的直方图变换为均匀分布的形式，这样就增加了像素灰度值的动态范围，从而达到增强图像整体对比度的效果

满足下列两个条件：

  1. 在区间 中为单值且单调递增
  2. 当 时，

条件 1 保证原图各灰度级在变换后仍保持次序

条件 2 保证变换前后灰度值动态范围的一致性

对于离散值 变换函数的离散形式为 对于范围 的图像，可以采用 或

空间滤波器

空间滤波和空间滤波器的定义

使用空间模板进行的图像处理，被称为空间滤波。模板本身被称为空间滤波器

平滑空间滤波器的作用

  • 模糊处理:去除图像中一些不重要的细节
  • 减小噪声

平滑空间滤波器的分类

  • 线性滤波器：均值滤波器

  • 非线性滤波器

    • 最大值滤波器：用像素领域内的最大值代替该像素

    • 中值滤波器：用像素领域内的中间值代替该像素

      强迫突出的亮点（暗点）更象它周围的值，以消除孤立的亮点（暗点）

      在去除噪音的同时，可以比较好地保留边的锐度和图像的细节（优于均值滤波器）

      能够有效去除脉冲噪声：以黑白点叠加在图像上

    • 最小值滤波器：用像素领域内的最小值代替该像素

锐化滤波器

锐化滤波器的主要用途

突出图像中的细节，增强被模糊了的细节 印刷中的细微层次强调。弥补扫描对图像的钝化 超声探测成像，分辨率低，边缘模糊，通过锐化来改善 图像识别中，分割前的边缘提取 锐化处理恢复过度钝化、暴光不足的图像 尖端武器的目标识别、定位

锐化滤波器的分类

  • 二阶微分滤波器－拉普拉斯算子

    image-20230606183926803

  • 一阶微分滤波器－梯度算子

    • Roberts交叉梯度算子

      image-20230606183932715

    • Prewitt梯度算子

      image-20230606183913939

    • Sobel梯度算子

      image-20230606185015879

三、彩色图像处理

彩色基础知识

三原色

  • 红色（Red）、绿色（Green）、蓝色（Blue）

原色相加可产生二次色

  • 深红色：红＋蓝
  • 青色：绿＋蓝
  • 黄色：红＋绿

彩色空间

RGB

CCD 技术直接感知 R,G,B 三个分量 是图像成像、显示、打印等设备的基础

CMY

  • CMY（青、深红、黄）、CMYK（青、深红、黄、黑） 运用在大多数在纸上沉积彩色颜料的设备，如彩色打印机和复印机
  • CMYK
    • 打印中的主要颜色是黑色
    • 等量的 CMY 原色产生黑色，但不纯
    • 在 CMY 基础上，加入黑色，形成 CMYK 彩色空间

HSI

色调、饱和度、亮度 两个特点：

  • I 分量与图像的彩色信息无关
  • H 和 S 分量与人感受颜色的方式是紧密相连的

将亮度（I）与色调（H）和饱和度（S）分开，避免颜色受到光照明暗（I）等条件的干扰，仅仅分析反映色彩本质的色调和饱和度

广泛用于计算机视觉、图像检索和视频检索

image-20230606213105144

image-20230606190729098

YIQ

Y 指亮度（Brightness）,即灰度值

I 和 Q 指色调，描述色彩及饱和度

用于彩色电视广播，被北美的电视系统所采用（属于 NTSC 系统）

Y 分量可提供黑白电视机的所有影像信息

YUV

Y 指亮度,与 YIQ 的 Y 相同

U 和 V 也指色调，不同于 YIQ 的 I 和 Q

用于彩色电视广播，被欧洲的电视系统所采用（属于 PAL 系统）

Y 分量也可提供黑白电视机的所有影像信息

YCbCr

Y 指亮度,与 YIQ 和 YUV 的 Y 相同 Cb 和 Cr 由 U 和 V 调整得到 JPEG 采用的彩色空间

伪彩色处理

什么叫伪彩色图像处理?

  • 也叫假彩色图像处理
  • 根据一定的准则对灰度值赋以彩色的处理
  • 区分：伪彩色图像、真彩色图像、单色图像

为什么需要伪彩色图像处理?

人类可以辨别上千种颜色和强度，只能辨别二十几种灰度

怎样进行伪彩色图像处理？

  1. 强度分层技术

    • 把一幅图像描述为三维函数（x,y,f(x,y)）
    • 分层技术：放置平行于(x,y)坐标面的平面
    • 每一个平面在相交区域切割图像函数
    • image-20230606190614862
    • image-20230606203739526

  2. 灰度级到彩色转换技术

    对任何输入像素的灰度级执行3个独立变换

    个变换结果分别送入彩色监视器的红、绿、蓝三个通道产生一幅合成图像

全彩色图像处理

全彩色图像处理研究分为两大类：

  • 分别处理每一分量图像，然后，合成彩色图像
  • 直接对彩色像素处理： 个颜色分量表示像素向量。令 c 代表 RGB 彩色空间中的任意向量

彩色变换

选择的彩色空间决定 的值，如 RGB 彩色空间，, 表示红、绿、蓝分量；CMYK，则

彩色图像平滑和尖锐化

令 表示在 RGB 彩色图像中定义一个中心在 的邻域的坐标集，在该邻域中 RGB 分量的平均值为

RGB 彩色空间，分别计算每一分量图像的拉普拉斯变换

彩色分割（把一幅图像分成区域）

  • HSI彩色空间分割——直观 H色调图像方便描述彩色 S饱和度图像做模板分离感兴趣的特征区 I强度图像不携带彩色信息

  • RGB彩色空间——直接

    令z代表RGB空间中的任意一点，a是分割颜色样本集的平均颜色向量 是距离阈值，小于则 和 相似，反之则不然

四、频率域滤波

傅里叶变换及其反变换

傅里叶级数，在时域是一个周期且连续的函数，而在频域是一个非周期离散的函数。

傅里叶变换，则是将一个时域非周期的连续信号，转换为一个在频域非周期的连续信号

image-20230606203752492

欧拉公式

一维 FT 及其反变换

  • 连续函数 的傅里叶变换 

傅里叶变换的反变换

  • 离散函数 其中 的傅里叶变换 的反变换

  • 由欧拉公式得

二维 DFT

一个图像尺寸为 的函数 反变换 位置的傅里叶变换值为 即 的均值，原点 的傅里叶变换是图像的平均灰度。 称为频率谱的直流分量(系数)，其它 值称为交流分量(交流系数)。

幅度谱和相位谱

幅度谱

##### 相位谱

幅度谱又叫频率谱，在图像增强中主要关心的对象。

频域下每一点 的幅度， 可用来表示该频率的波在叠加中所占的比例。

直接反映频率信息，频率滤波的主要信息

image-20230606215234177

image-20230606213953220

image-20230606224504064

image-20230606212858579

傅里叶变换的性质

  • 线性性质

  • 平移性 当 即如果需要将频域的坐标原点从显示屏起始点（0，0）移至显示屏的中心点只要将f(x,y)乘以(-1)x+y因子再进行傅里叶变换即可实现。

  • 周期性

  • 共轭对称性

  • 旋转不变性

    该性质表明，若f(x,y)旋转θ0角度，则F(u,v)也旋转相同角度，反之亦然。

    image-20230606204218845

快速傅里叶变换（FFT）

五、图像增强

频率域滤波

当从变换的原点移开时，低频对应着图像的慢变化分量，如图像的平滑部分

进一步离开原点时，较高的频率对应图像中变化越来越快的灰度级，如边缘或噪声等尖锐部分

image-20230606213815634

空间域乘法可以通过频率域的卷积获得

空间域和频率域中的滤波器组成了傅里叶变换对

给出在频率域的滤波器，可以通过反傅里叶变换得到在空间域对应的滤波器，反之亦然

滤波在频率域中更为直观，但在空间域一般使用更小的滤波器模板

可以在频率域指定滤波器，做反变换，然后在空间域使用结果滤波器作为在空间域构建小滤波器模板的指导

  • 高斯频率域低通滤波器函数

  • 对应空间域高斯低通滤波器为

高斯频率域高通滤波器函数 对应空间域高斯高通滤波器为 image-20230606204109592

频率域平滑（低通）滤波器

低通滤波器：使低频通过而使高频衰减的滤波器

  • 被低通滤波的图像比原始图像少尖锐的细节部分而突出平滑过渡部分
  • 对比空间域滤波的平滑处理，如均值滤波器

边缘和噪声等尖锐变化处于傅里叶变换的高频部分

平滑可以通过衰减高频成分的范围来实现

理想低通滤波器

截断傅里叶变换中的所有高频成分，这些高频成分处于指定距离 之外 image-20230606204702981

image-20230606210303645

结论：半径 越小，模糊越大；半径 越大，模糊越小

image-20230606215341943

振铃现象

image-20230606205204156

巴特沃斯低通滤波器(BLPF)

不同于 ILPF，BLPF 变换函数，在通带与被滤除的频率之间没有明显的截断 当 时， (最大值是1，当 )

image-20230606210322792

可用于平滑处理，如图像由于量化不足产生虚假轮廓时，常可用低通滤波进行平滑以改进图像质量。通常BLPF的平滑效果好于ILPF（振铃现象）。

image-20230606210912905

高斯低通滤波器(GLPF)

其中 是点 距原点的距离，使 image-20230606210339881

  • GLPF 不能达到有相同截止频率的二阶 BLPF 的平滑效果
  • GLPF 没有振铃
  • 如果需要严格控制低频和高频之间截至频率的过渡，选用 BLPF，代价是可能产生振铃

低通滤波器的应用实例：模糊,平滑等

  • 字符识别：通过模糊图像，桥接断裂字符的裂缝
  • 印刷和出版业：从一幅尖锐的原始图像产生平滑、柔和的外观，如人脸，减少皮肤细纹的锐化程度和小斑点
  • 处理卫星和航空图像：尽可能模糊细节，而保留大的可识别特征。低通滤波通过消除不重要的特征来简化感兴趣特征的分析

频率域锐化（高通）滤波器

高通滤波器：使高频通过而使低频衰减的滤波器

  • 被高通滤波的图像比原始图像少灰度级的平滑过渡而突出边缘等细节部分
  • 对比空间域的梯度算子、拉普拉斯算子

理想高通滤波器

image-20230606211339205

振铃问题十分明显

巴特沃思高通滤波器

image-20230606212103060

高斯高通滤波器

image-20230606212156889

image-20230606212039964

image-20230606211837101

频率域的拉普拉斯算子

原点从 平移到 ，所以滤波函数平移为 从原始图像中减去拉普拉斯算子部分，形成 的增强图像

image-20230606215812567

钝化模板、高频提升滤波和高频加强滤波

为什么要进行高频提升和高频加强？

  • 高频滤波后的图像，其背景平均强度减小到接近黑色（因为高通滤波器滤除了傅里叶变换的零频率成分: ）
  • 解决办法：把原始图像加到过滤后的结果，如拉普拉斯算子增强，这种处理称为高频提升过滤

钝化模板(锐化或高通图像)：从一幅图像减去其自身模糊图像而生成的锐化图像构成。在频率域，即从图像本身减去低通滤波（模糊）后的图像而得到高通滤波（锐化）的图像

  • 高频提升过滤

当 即高通过率；当 ，累加图像本身

因此高频提升过滤可定义为

  • 高频提升加强

  • 用图像的高频成分进行增强
  • 增加a的目的是使零频率不被滤波器过滤
  • 当 时转化为高频提升过滤
  • 当 ，高频得到加强

image-20230606220442869

六、图像复原

图像退化/复原过程的模型

什么是退化？

成像过程中的”退化”，是指由于成像系统各种因素的影响，使得图像质量降低

引起图像退化的原因

  • 成像系统的散焦
  • 成像设备与物体的相对运动
  • 成像器材的固有缺陷
  • 外部干扰等

图像复原概述

与图像增强相似，图像复原的目的也是改善图像质量

图像增强主要是一个主观过程，而图像复原主要是一个客观过程

图像增强被认为是一种对比度拉伸，提供给用户喜欢接收的图像；而图像复原技术追求恢复原始图像的最优估值

图像复原技术可以使用空间域或频率域滤波器实现

图像复原可以看作图像退化的逆过程，是将图像退化的过程加以估计，建立退化的数学模型后，补偿退化过程造成的失真

在图像退化确知的情况下，图像退化的逆过程是有可能进行的

但实际情况经常是退化过程并不知晓，这种复原称为盲目复原

由于图像模糊的同时，噪声和干扰也会同时存在，这也为复原带来了困难和不确定性

image-20230606212523734

噪声模型

数字图像的噪声主要来源于图像的获取和传输过程

  • 图像获取的数字化过程，如图像传感器的质量和环境条件
  • 图像传输过程中传输信道的噪声干扰，如通过无线网络传输的图像会受到光或其它大气因素的干扰

一些重要的噪声

  • 高斯噪声
  • 瑞利噪声
  • 伽马（爱尔兰）噪声
  • 指数分布噪声
  • 均匀分布噪声
  • 脉冲噪声（椒盐噪声）

image-20230606212232327

高斯噪声

高斯噪声的概率密度函数（PDF）由下式给出

均匀分布噪声

脉冲噪声（椒盐噪声）

如果 或 为零，则脉冲噪声称为单极脉冲

如果 或 均不为零，则脉冲噪声称为双极脉冲噪声或椒盐噪声

脉冲噪声可以为正，也可为负

标定以后，脉冲噪声总是数字化为最大值（纯黑或纯白）

通常，负脉冲以黑点（胡椒点）出现，正脉冲以白点（盐点）出现

几种噪声的运用

高斯噪声源于电子电路噪声和由低照明度或高温带来的传感器噪声

瑞利噪声对于表征远距离成像噪声有用

伽马分布和指数分布用于表征激光成像噪声

脉冲噪声用于成像中的短暂停留中，如错误的开关操作

样本噪声图像和它们的直方图

image-20230606212440004

image-20230606215834656

image-20230606215844475

上述噪声图像的直方图和它们的概率密度函数曲线对应相似，前面5种噪声的图像并没有显著不同，但它们的直方图具有明显的区别

周期噪声

周期噪声是在图像获取中从电力或机电干扰中产生

周期噪声可以通过频率域滤波显著减少image-20230606215951946

空间域滤波复原（唯一退化是噪声）

当唯一退化是噪声时 噪声项未知，不能从 或 减去噪声

可以选择空间滤波方法进行图像复原

图像复原的空间滤波器

  • 均值滤波器 算术均值滤波器、几何均值滤波器、谐波均值滤波器、逆谐波均值滤波器

    算术均值滤波器和几何均值滤波器适合于处理高斯或均匀等随机噪声 谐波均值滤波器适合于处理脉冲噪声 缺点：必须事先知道噪声是暗噪声还是亮噪声，以便于选择合适的Q符号

  • 顺序统计滤波器 中值滤波器、最大值滤波器、最小值滤波器、中点滤波器、修正后的阿尔法均值滤波器

    在相同尺寸下，比起均值滤波器引起的模糊少；对单极或双极脉冲噪声非常有效

  • 自适应滤波器 自适应局部噪声消除滤波器、自适应中值滤波器

    行为变化基于由 矩形窗口 定义的区域内图像的统计特性 与前述滤波器相比，性能更优，但也增加了算法复杂性

频率域滤波复原（削减周期噪声）

图像复原的频率域滤波器

  • 带阻滤波器

    带阻滤波器：阻止一定频率范围内的信号通过而允许其它频率范围内的信号通过，消除或衰减傅里叶变换原点处的频段

    • 理想带阻滤波器
    • 巴特沃思带阻滤波器
    • 高斯带阻滤波器

  • image-20230606212652438

    image-20230606220517828

  • 带通滤波器

    带通滤波器：允许一定频率范围内的信号通过而阻止其它频率范围内的信号通过

  • 陷波滤波器

    阻止或通过事先定义的中心频率邻域内的频率

    由于傅里叶变换是对称的，陷波滤波器必须以关于原点对称的形式出现

    如果陷波滤波器位于原点处，则以它本身形式出现

    image-20230606223126124

  • 陷波带通滤波器

    通过包含在陷波区的频率 当 时，陷波带通滤波器变为低通滤波器

七、图像压缩

基本概念

为什么需要图像压缩

  • 图像的数据量通常很大，对存储、处理和传输带来许多问题（对比视频）
  • 不断扩大的图像应用

一般分为两类：

  • 无损压缩：在压缩和解压缩过程中没有信息损失
  • 有损压缩：能取得较高的压缩率，但压缩后不能通过解压缩恢复原状
  • 其它：如根据需要，既可进行无损，也可进行有损压缩的技术；准无损技术

图像压缩的理论基础

  • 信息论
  • 图像处理的概念和技术

压缩方法

  • 预测编码方法（对应空域方法）
  • 变换编码方法（对应频域方法）

数据冗余的概念

数据是用来表示信息的。如果不同的方法为表示给定量的信息使用了不同的数据量，那么使用较多数据量的方法中，有些数据必然是代表了无用的信息，或者是重复地表示了其它数据已表示的信息，这就是数据冗余的概念。

相对数据冗余的定义

如果 和 代表两个表示相同信息的数据集合中所携载信息单元的数量，则 表示的数据集合的相对数据冗余 定义为： 称为压缩率，定义为

n1相对于n2 对应的情况
n1 = n2 1 0 第1种表达相对第2种表达不含冗余数据
n1 >> n2 ∞ 1 第1种数据集合包含相当多的冗余数据
n1 << n2 0 ∞ 第2种数据集合包含相当多的冗余数据

三种基本的数据冗余

  • 编码冗余
  • 像素间冗余
  • 心理视觉冗余

如果能减少或消除上述三种冗余的1种或多种冗余，就能取得数据压缩的效果

什么是编码冗余？

如果一个图像的灰度级编码，使用了多于际需要的编码符号，就称该图像包含了编码冗余

如果用8位表示黑白二值图像的像素，我们就说该图像存在编码冗余，因为该图像的像素只有两个灰度，用一位即可表示。

如果用于表示每个 值的比特数为 ，则表达每个像素所需的平均比特数为

什么是像素间冗余？
  • 反映图像中像素之间的相互关系
  • 因为任何给定像素的值可以根据与这个像素相邻的像素进行预测，所以单个像素携带的信息相对较少
  • 对于一幅图像，很多单个像素对视觉的贡献是冗余的。它的值可以通过与它相邻的像素值为基础进行预测
什么是心理视觉冗余？
  • 人眼感觉到的图像区域亮度不仅取决于该区域的反射光，例如根据马赫带效应，在灰度值为常数的区域也能感觉到灰度值的变化
  • 这是由于眼睛对所有视觉信息感受的灵敏度不同。在正常视觉处理过程中各种信息的相对重要程度不同
  • 有些信息在通常的视觉过程中与另外一些信息相比并不那么重要，这些信息被认为是心理视觉冗余的，去除这些信息并不会明显降低图像质量
  • 由于消除心理视觉冗余数据会导致一定量信息的丢失，所以这一过程通常称为量化
  • 心理视觉冗余压缩是不可恢复的，量化的结果导致了数据有损压缩

保真度准则

图像压缩可能会导致信息损失，如去除心理视觉冗余数据 需要评价信息损失的测度以描述解码图像相对于原始图像的偏离程度，这些测度称为保真度准则

常用保真度准则分为两大类：

  • 客观保真度准则
  • 主观保真度准则

客观保真度准则

当所损失的信息量可以用编码输入图像与编码输出图像的函数表示时，它就是基于客观保 真度准则的 常用的两种客观保真度准则

  • 均方根误差
  • 均方信噪比

令 表示输入图， 表示先压缩后解压的近似，则 与 的误差定义为

均方根误差

均方信噪比

均方根信噪比

图像压缩模型

image-20230606224445477

信源编码器：减少或消除输入图像中的编码冗余、像素间冗余及心理视觉冗余

image-20230606212837973

转换器：减少像素间冗余 量化器：减少心理视觉冗余，该步操作是不可逆的 符号编码器：减少编码冗余 并不是每个图像压缩系统都必须包含这3种操作，如进行无误差压缩时，必须去掉量化器

image-20230606224518267

符号解码器：进行符号编码的逆操作 反向转换器：进行转换器的逆操作

信道是有噪声的或易产生误差时，信道编码器和信道解码器对整个编解码过程非常重要 由于信源编码器的输出数据一般只有很少的冗余，所以它们对输出噪声很敏感 汉明（Hamming）编码：在编了码的码字后面增加足够的比特位以保证各个正确的码字之间至少有一定数量的比特位不相同

信息论基础

信道是连接信源和用户的物理媒介。它可以是电话线、无线传播、导线或 internet

每个信源输出的平均信息，也称为信源的熵为 如果信源符号的出现是等可能性的，则上述熵被最大化，此时信源提供最大信息量

无损压缩

无误差压缩的必要性

  • 在医疗或商业文件的归档，有损压缩因为法律原因而被禁止
  • 卫星成像的收集，考虑数据使用和所花费用，不希望有任何数据损失
  • X光拍片，信息的丢失会导致诊断的正确性

无误差压缩技术

  • 减少像素间冗余
  • 减少编码冗余

无误差压缩

  • 变长编码

    即把最短的码字赋予出现概率最大的灰度级，减少编码冗余

    • 霍夫曼（Huffman）编码

      1. 将需要考虑的符号概率排序，并将最低概率的符号联结为一个单一符号

      2. 对每个化简后的信源进行编码，从最小的信源开始，一直编码到原始的信源

    • 其它变长编码

    • 算术编码

  • LZW 编码

  • 位平面编码

  • 无损预测编码

霍夫曼编码

①将信源符号按出现概率从大到小排成一列，然后把最末两个符号的概率相加，合成一个概率。

②把这个符号的概率与其余符号的概率按从大到小排列，然后再把最末两个符号的概率加起来，合成一个概率。

③重复上述做法，直到最后剩下两个概率为止。

④从最后一步剩下的两个概率开始逐步向前进行编码。每步只需对两个分支各赋予一个二进制码，如对概率大的赋予码元 0，对概率小的赋予码元 1。

其它接近最佳的变长编码：为什么需要？

  • 当对大量符号进行编码，构造霍夫曼编码比较复杂
  • 对 J 个信源符号，需要进行 J-2 次信源化简和 J-2 次编码分配
  • 对 256 个灰度级图像，需要 254 次信源化简和 254 次编码分配
  • 考虑牺牲编码效率以减少编码构造的复杂性

算术编码

算术编码是信息保持型编码，它不像哈夫曼编码，无需为一个符号设定一个码字;

算术编码分为固定方式和自适应方式两种编码;

选择不同的编码方式，将直接影响到编码效率;

自适应算术编码的方式，无需先定义概率模型，适合于无法知道信源字符概率分布的情况;

当信源字符出现的概率比较接近时，算术编码效率高于哈夫曼编码的效率，在图像通信中常用它来取代哈夫曼编码;

实现算术编码算法的硬件比哈夫曼编码复杂。

LZW编码

消除像素间冗余

是由 Lemple 和 Ziv 最早提出，然后由 Welch 充实的有专利保护的 LZW 算法

将原始数据中的重复字符串建立一个字串表，然后用该重复字串在字串表中的索引替 代原始数据达到压缩的目的

一个由 8 位组成的文件可以被编成 12 位的代码。在 ＝ 个可能的代码中，＝ 个 代表所由可能的单个字符（8位），剩下的 3840 个代码分配给压缩过程中出现的字符串

每当表中没有的字符串第一次出现时，它就被原样保存，同时将分配给它的代码也保存

之后，当这个串再次出现时，只将它的代码保存，这就去掉了文件冗余信息

不但字符串表是在压缩过程中动态生成，而且字符串表也不必保存在压缩文件里，因为 解压缩算法可以由压缩文件中的信息重构

使用 LZW 的文件格式包括 GIF，TIFF 和 PDF 等。

  • 优点 与字符出现频率无关，能有效利用字符出现频率冗余度进行压缩. 无附加信息，字典是自适应生成的，有较大改进空间。

  • 缺点 适用范围是原始数据串中有大量的子串多次重复出现。如果重复不多，反而会增加数据。 给不同的码字分配固定长度的整数，并且不考虑信息源的概率分布

无损预测编码(Lossless Predictive Coding)

  • 去除像素冗余。

  • 认为相邻像素的信息有冗余。当前像素值可以用先前的像素值来获得。

  • 用当前像素值fn，通过预测器得到一个预测值，对当前值和预测值求差。对差编码，作为压缩数据流中的下一个元素。

八、形态学图像处理

概述

用数学形态学（也称图像代数）表示以形态为基础对图像进行分析的数学工具 基本思想是用具有一定形态的结构元素去度量和提取图像中的对应形状以达到对图像分析和识别的目的 形态学图像处理的数学基础和所用语言是集合论

形态学图像处理的应用可以简化图像数据， 保持它们基本的形状特性，并除去不相干的结构 形态学图像处理的基本运算有 4 个：膨胀、腐蚀、开操作和闭操作

集合论基础知识

复习集合的并、交、补、差

image-20230607002153629

集合B的反射B ，定义为 即关于原集合原点对称

集合 平移到点 表示为 ，定义为

膨胀与腐蚀

  • 腐蚀就是将图像的边缘缩小些。目的是将目标的边缘的“毛刺”踢除掉。作用是消除物体边界点，目标缩小，可以消除小于结构元素的噪声点；

  • 膨胀就是将图像的边缘扩大些。目的是将目标的边缘或者是内部的坑填掉。作用是将与物体接触的所有背景点合并到物体中，使目标增大，可添补目标中的空洞。

image-20230607002352929

腐蚀

被 腐蚀定义为 对Z中的集合A和B，B对A进行腐蚀的整个过程如下：

  1. 用结构元素B，扫描图像A的每一个像素
  2. 用结构元素与其覆盖的二值图像做“与”操作
  3. 如果都为1，结果图像的该像素为1，否则为0。腐蚀处理的结果是使原来的二值图像减小一圈。

image-20230607002600737

使用腐蚀消除图像的细节部分，产生滤波器的作用

image-20230607002641970

膨胀

被 膨胀定义为

  1. 用结构元素B，扫描图像A的每一个像素
  2. 用结构元素与其覆盖的二值图像做“或”操作
  3. 如果都为0，结果图像的该像素为0。否则为1

使用膨胀可以桥接文字裂缝

image-20230607003051758

原始图像 膨胀 腐蚀
image-20230607003116211 image-20230607003120315 image-20230607003124419
image-20230607003148732 image-20230607003155853 image-20230607003152044

开操作与闭操作

开操作

使图像的轮廓变得光滑，断开狭窄的间断和消除细的突出物

使用结构元素B对集合A进行开操作，定义为： 含义：先用B对A腐蚀，然后用B对结果膨胀

image-20230607003705397

闭操作

同样使图像的轮廓变得光滑，但与开操作相反，它能消除狭窄的间断和长细的鸿 沟，消除小的孔洞，并填补轮廓线中的裂痕

使用结构元素B对集合A进行闭操作，定义为： 含义：先用B对A膨胀，然后用B对结果腐蚀

image-20230607003711852

形态学的主要应用

边界提取

定义为 image-20230607003823089

image-20230607003838887

九、图像分割

概述

分割的目的：将图像划分为不同区域 三大类方法

  • 根据区域间灰度不连续搜寻区域之间的边界，在间断检测、边缘连接和边界检测介绍
  • 以像素性质的分布进行阈值处理，在阈值处理介绍
  • 直接搜寻区域进行分割，在基于区域的分割中介绍

在对图像的研究和应用中，人们往往仅对图像中的某些部分感兴趣，这些部分一般称为目 标或前景 为了辨识和分析目标，需要将有关区域分离提取出来，在此基础上对目标进一步利用，如 进行特征提取和测量 图像分割就是指把图像分成各具特性的区域并提取出感兴趣目标的技术和过程

特性可以是灰度、颜色、纹理等，目标可以对应单个区域，也可以对应多个区域 图像分割算法一般是基于亮度值的不连续性和相似性

  • 不连续性是基于亮度的不连续变化分割图像，如图像的边缘
  • 根据制定的准则将图像分割为相似的区域，如阈值处理、区域生长、区域分离和聚合

间断检测

点检测

使用如图所示的模板，如果 ，则在模板中心位置检测到一个点

image-20230607005937360

基本思想：如果一个孤立点与它周围的点不同，则可以使用上述模板进行检测。

注意：如果模板响应为0，则表示在灰度级为常数的区域

线检测

4个线检测模板

image-20230607010015314

第一个模板对水平线有最大响应 第二个模板对 方向线有最大响应 第三个模板对垂直线有最大响应 第四个模板对 方向线有最大响应

用R1,R2,R3和R4分别代表水平、、垂直和 方向线的模板响应，在图像中心的点，如 则此点被认为与在模板 i 方向上的线更相关

image-20230607010252773

边缘检测

一组相连的像素集合，这些像素位于两个区域的边界上

image-20230607010328981

一阶导数可用于检测图像中的一个点是否在边缘上 二阶导数可以判断一个边缘像素是在边缘亮的一边还是暗的一边 一条连接二阶导数正值和负值的虚构直线将在边缘中点附近穿过零点 一阶导数使用梯度算子，二阶导数使用拉普拉斯算子

梯度算子

图像 在 的梯度定义为下列向量

Roberts 交叉梯度算子

梯度计算由两个模板组成，第一个求 得梯度的第一项，第二个求得梯度的第二项，然后求和，得到梯度。 两个模板称为 Roberts 交叉梯度算子

image-20230607010931214

Prewitt梯度算子

image-20230607010956008

Sobel梯度算子

权值2用于增加中心点的重要性

image-20230607011054236

结论

Prewitt和Sobel算子是计算数字梯度时最常用的算子 Prewitt模板比Sobel模板简单，但Sobel模板能够有效抑制噪声

image-20230607011116830

拉普拉斯算子

图像函数的拉普拉斯变换定义为 image-20230607011406611

拉普拉斯算子总结
  • 缺点： 拉普拉斯算子对噪声具有敏感性 拉普拉斯算子的幅值产生双边缘 拉普拉斯算子不能检测边缘的方向
  • 优点： 可以利用零交叉的性质进行边缘定位 可以确定一个像素是在边缘暗的一边还是亮的一边
拉普拉斯算子与平滑过程一起利用零交叉找到边缘

是标准差，上式称为高斯型的拉普拉斯算子 LoG

image-20230607011618972

高斯型拉普拉斯算子总结
  • 高斯型函数的目的是对图像进行平滑处理
  • 拉普拉斯算子的目的是提供一幅用零交叉确定边缘位置的图像
  • 平滑处理减少了噪声的影响

image-20230607011654594

对比二阶拉普拉斯算子和一阶Sobel梯度算子
  • 缺点
    • 边缘由许多闭合环的零交叉点决定
    • 零交叉点的计算比较复杂
  • 优点
    • 零交叉点图像中的边缘比梯度边缘细
    • 抑制噪声的能力和抗干扰性能较好

边缘连接和边界检测

为什么需要边缘连接？

由于噪声、照明等产生边缘间断，使得一组像素难以完整形成边缘 因此，在边缘检测算法后，使用连接过程将间断的边缘像素组合成完整边缘

局部处理

分析图像中每个边缘点(x,y)的一个邻域内的像素，根据某种准则将相似点进行连接，由 满足该准则的像素连接形成边缘 如何确定边缘像素的相似性

  • 边缘像素梯度算子的响应强度

    如果 则 邻域内坐标为 的边缘像素，在幅度上相似于 的像素

  • 边缘像素梯度算子的方向

    如果

    则 邻域内坐标为 的边缘像素，在角度上相似于 的像素

image-20230607012022146

Hough 变换

方程 在参数 k-b 平面上是一条直线

图像 x-y 平面上的一个像素点对应参数平面上的一条直线

对于边界上的n个点的点集，找出共线的点集和直线方程。

对于任意两点的直线方程： 构造一个参数 ， 的平面，从而有如下结论：

  • xy 平面上的任意一条直线 ，对应在参数 ab 平面上都有一个点
  • 过 xy 平面一个点 的所有直线，构成参数 ab 平面上的一条直线
  • 如果点 与点 共线，那么这两点在参数 ab 平面上的直线将有一个交点,具有相同的 a 和 b
  • 在参数 ab 平面上相交直线最多的点，对应的 xy 平面上的直线就是我们的解

image-20230607012241775

image-20230607012354997

阈值处理

基础

image-20230607012423695

阈值处理操作 是 的灰度级， 表示该点的局部性质，如以 为中心的邻域的局部灰度级

阈值处理后的图像 定义为 标记为 1 的像素对应于对象，标记为 0 的像素对应于背景

  • 当 T 仅取决于 ，阈值称为全局的

  • 当 T 取决于 和 ，阈值是局部的

  • 当 T 取决于空间坐标 和 ，阈值就是动态的或自适应的

image-20230607012608121

基本全局阈值

  1. 选择一个T的初始估计值

  2. 用T分割图像，生成两组像素： 由所有灰度值大于 的像素组成，而 由所有灰度值小于或等于 的像素组成

  3. 对区域 和 中的所有像素计算平均灰度值 µ 和 µ

  4. 计算新的阈值

  5. 重复步骤 2 到 4，直到逐次迭代所得的 值之差小于事先定义的参数

基本自适应阈值

  • 单一全局阈值存在的问题：不均匀亮度图像无法有效分割
  • 方法
    • 将图像进一步细分为子图像，并对不同的子图像使用不同的阈值处理
    • 解决的关键问题：如何将图像进行细分和如何为得到的子图像估计阈值
    • 自适应阈值：取决于像素在子图像中的位置

image-20230607012837029

最佳全局和自适应阈值

假设一幅图像仅包含两个主要的灰度级区域。令 表示灰度级值，则两个灰度区域的直方图可以看作它们概率密度函数（PDF）的估计

是两个密度的和或混合。一个是图像中亮区域的密度，另一个是暗区域的密度

如果 已知或假设，则它能够确定一个最佳阈值（具有最低的误差）将图像分割为两个可区分的区域

image-20230607012925308

混合 PDF 是 错分类的概率为 为找到出错最少的阈值，把 对 求微分使结果等于 ，得到 解出 ，即为最佳阈值

若 ，则最佳阈值位于曲线 的交点处

基于区域的分割

基本概念

目标：将区域R划分为若干个子区域 R1,R2,…,Rn，这些子区域满足5个条件：

  1. 完备性

  2. 连通性：每个 都是一个连通区域

  3. 独立性：对于任意

  4. 单一性：每个区域内的灰度级相等

  5. 互斥性：任两个区域的灰度级不等，

区域生长

  1. 根据图像的不同应用选择一个或一组种子，它或者是最亮或最暗的点，或者是位于点簇中心的点
  2. 选择一个描述符（条件）
  3. 从该种子开始向外扩张，首先把种子像素加入结果集合，然后不断将与集合中各个像素连通、且满足描述符的像素加入集合
  4. 上一过程进行到不再有满足条件的新结点加入集合为止

image-20230607013546864

区域分离与合并

  1. 对图像中灰度级不同的区域，均分为四个子区域
  2. 果相邻的子区域所有像素的灰度级相同，则将其合并
  3. 反复进行上两步操作，直至不再有新的分裂与合并为止

image-20230607013657987

算法实现：实际应用中还可作以下修改：

的定义为：

  1. 区域内多于 的像素满足不等式 ， 其中： 是区域 中第 个点的灰度级， 是该区域的平均灰度级， 是区域的灰度级的标准方差。
  2. 当 时，将区域内所有像素的灰度级置为

不知不觉Acmer & Student

Never Settle