图像工程（第4版）

图像工程由清华大学章毓晋教授编著，是图像领域***经典，已印刷60多次，20多万册。全套书分为图像处理、分析、理解三个层次（三册），全面涵盖基本概念、基本原理、典型方法、实用技术以及国际上有关研究的新成果。第1版获全国普通高等学校优秀教材一等奖；第2版评为全国普通高等教育“十一五”精品教材；第3版评为“十二五”普通高等教育本科*规划教材，2013年北京高等教育精品教材。 

本书为《图像工程》（第4版）的上、中、下册合订本，全面介绍图像工程的*层次——图像处理，图像工程的第二层次——图像分析,图像工程的第三层次——图像理解的基本概念、基本原理、典型方法、实用技术以及国际上有关研究的新成果。
上册主要分4个单元,第1单元（包含第2~4章）介绍图像增强技术，第2单元（包含第5~8章）介绍图像恢复技术，第3单元（包含第9~11章）介绍图像编码技术，第4单元（包含第12~15章）介绍拓展图像技术。中册主要分4个单元，第1单元（包含第2~5章）介绍图像分割技术，第2单元（包含第6~8章）介绍对分割出目标的表达描述技术，第3单元（包含第9~12章）介绍目标特性分析技术，第4单元（包含第13~15章）介绍一些相关的数学工具。下册主要分4个单元，第1单元（包含第2~5章）介绍图像采集表达技术，第2单元（包含第6~9章）介绍景物重建技术，第3单元（包含第10~12章）介绍场景解释技术，第4单元（包含第13~15章）介绍3个研究方向的示例。
书中提供了大量例题、思考题和练习题，并对部分练习题提供了解答或解题思路。
本书可作为信号与信息处理、通信与信息系统、电子与通信工程、模式识别与智能系统、计算机视觉等学科大学本科和研究生专业基础或专业课教材，也可供信息与通信工程、电子科学与技术、计算机科学与技术、测控技术与仪器、机器人自动化、生物医学工程、光学、电子医疗设备研制、遥感、测绘和军事侦察等领域的科技工作者参考。

总目录

上册图像处理

第1章绪论

第1单元图像增强

第2章空域增强：点操作

第3章空域增强：模板操作

第4章频域图像增强

第2单元图像恢复

第5章图像消噪和恢复

第6章图像校正和修补

第7章图像去雾

第8章图像投影重建

第3单元图像编码

第9章图像编码基础

第10章图像变换编码

第11章更多图像编码方法

第4单元拓展技术

第12章图像信息安全

第13章彩色图像处理

第14章视频图像处理

第15章多尺度图像处理

附录A图像国际标准

部分思考题和练习题解答

参考文献

主题索引

中册图像分析

第1章绪论

第1单元图像分割

第2章图像分割基础

第3章典型分割算法

第4章分割技术扩展

第5章分割评价比较

第2单元表达描述

第6章目标表达

第7章目标描述

第8章测量和误差分析

第3单元特性分析

第9章纹理分析

第10章形状分析

第11章运动分析

第12章显著性和属性

第4单元数学工具

第13章数学形态学：二值

第14章数学形态学：灰度

第15章图像识别

附录A人脸和表情识别

部分思考题和练习题解答

参考文献

主题索引

下册图像理解

第1章绪论

第1单元采集表达

第2章摄像机成像

第3章压缩感知与成像

第4章深度信息采集

第5章3D景物表达

第2单元景物重建

第6章立体视觉： 双目

第7章立体视觉： 多目

第8章景物恢复： 多图像

第9章景物恢复： 单图像

第3单元场景解释

第10章知识表达和推理

第11章广义匹配

第12章场景分析和语义解释

第4单元研究示例

第13章多传感器图像信息融合

第14章基于内容的图像和视频检索

第15章时空行为理解

附录A视觉和视知觉

部分思考题和练习题解答

参考文献

主题索引

全套书第4版前言

    这是《图像工程》第4版，全套书仍分3册，分别为《图像工程（上册）——图像处理》《图像工程（中册）——图像分析》和《图像工程（下册）——图像理解》。它们全面介绍图像工程的基础概念、基本原理、典型方法、实用技术以及国际上相关内容研究的新成果。
    《图像工程》第3版也分3册，名称与第4版相同。上、中、下册均在2012年出版，而2013年出版了《图像工程》第3版的3册合订本。第3版至今已重印13次，总计3万多册。
    《图像工程》第2版也分3册，名称与第4版相同。上、中、下册分别在2006年、2005年和2007年出版，2007年还出版了《图像工程》第2版的3册合订本。第2版共重印18次，总计近7万册。
    《图像工程》第1版也分3册，名称分别为《图像工程（上册）——图像处理和分析》《图像工程（下册）——图像理解和计算机视觉》和《图像工程（附册）——教学参考及习题解答》。这3册分别在1999年、2000年和2002年出版。第1版共重印27次，总计约11万册。
    《图像工程》的多次重印表明作者一直倡导的，为了对各种图像技术进行综合研究、集成应用而建立的整体框架——图像工程——作为一门系统研究各种图像理论、技术和应用的新的交叉学科得到了广泛的认可，也在教学中得到大量使用。同时，随着研究的深入和技术的发展，编写新版的工作也逐渐提到议事日程上来。
    第4版的编写开始于2016年，是年暑假静心构思了全套书的整体框架。其后，根据框架陆续收集了一些的相关书籍和文献（包括印刷版和电子版），并仔细进行了阅读和做了笔记。这为新版的编写打下了一个坚实的基础。期间，还结合以往课堂教学和学生反馈，对一些具体内容（包括习题）进行了整理和调整。第4版内容具有一定的深度和广度，希望读者通过本套书的学习，能够独立和全面地了解该领域的基本理论、技术、应用和发展。
    第4版在编写的方针上，仍如前3版那样力求具有理论性、实用性、系统性、实时性； 在内容叙述上，力求理论概念严谨，论证简明扼要。在内容方面，第4版基本保留了第3版中有代表性的经典内容，同时考虑图像技术的飞速发展，还认真选取了近年的一些研究成果和得到广泛使用的典型技术进行充实。这些新内容既参考了许多有关文献，也结合了作者的一些研究工作和成果以及这些年来的教学教案。除每册书增加一章全新内容外，还各增加了多个节和小节，并特别增加了许多例题，其中有些介绍新的选学内容，有些则从其他的角度来补充解释已有的概念和方法。这些例题可根据课时安排、学生基础等选择使用，比较灵活。总体来说，第4版的内容覆盖面更广，介绍更全面细致，整体篇幅比第3版有约20%的增加。
    第4版在具体结构和章节安排方面仍然保留了第3版的特点：
    ，各册书均从第2章就开始介绍正式内容，更快进入主题。先修或预备内容分别安排在需要先修部分的同一章前部，从教学角度来说，更加实用，也突出了主线内容。
    第二，除第1章绪论外，各册书的正式内容仍都结合成4个主题相关的单元（并画在封面上），每个单元都有具体说明，帮助读者选择学习。全书有较强的系统性和结构性，也有利于复习考核。
    第三，各章中的习题均只有少部分给出了解答，使教师可以更灵活地选择布置。更多的习题和其余的习题解答将会放在出版社网站上，便于补充、改进，网址为www.tup.com.cn。

    第四，各册书后均仍有主题索引（并给出了英文），这样既方便在书中查找有关内容，又方便在网上查找有关文献和解释。

第4版还增加了一项新的举措。书中的彩色图片印刷后均为黑白的，但可以通过手机扫描图片旁的二维码，调出存放在出版社网站上的对应彩色图片，获得更多的信息和更好的观察效果。

    从1996年开始编写《图像工程》第1版以来至今已20多年。期间，作者与许多读者（包括教师、学生、自学者等）有过各种形式的讨论和交流，除了与一些同行面谈外，许多人打来电话或发来电子邮件。这些讨论和交流使作者获得了许多宝贵的意见和建议，在编写这4版中都起到了不可或缺的作用，特别是在解释和描述的详略方面都结合读者反馈意见进行了调整，从而更加容易理解和学习。值得指出的是，书中还汇集了多年来不少听课学生的贡献，许多例题和练习题是在历届学生作业和课堂讨论的基础上提炼出来的，一些图片还直接由学生帮助制作，在选材上也从学生的反馈中受到许多启发。借此机会对他们一并表示衷心的感谢。
    书中有部分内容基于作者和他人共同研究的成果，特别是历年研究室的学生（按姓名拼音排序）： 卜莎莎、边辉、蔡伟、陈权崎、陈挺、陈伟、陈正华、程正东、崔崟、戴声扬、段菲、方慕园、冯上平、傅卓、高永英、葛菁华、侯乐天、胡浩基、黄英、黄翔宇、黄小明、贾波、贾超、贾慧星、姜帆、李佳童、李娟、李乐、李品一、李勍、李睿、李硕、李闻天、李相贤（LEE Sang Hyun）、李小鹏、李雪、梁含悦、刘宝弟、刘晨阳、刘峰、刘锴、刘青棣、刘惟锦、刘晓旻、刘忠伟、陆海斌、陆志云、罗惠韬、罗沄、朴寅奎（PARK In Kyu）、钱宇飞、秦暄、秦垠峰、阮孟贵（NGUYEN Manh Quy）、赛义（Saeid BAGHERI）、沈斌、谭华春、汤达、王树徽、王宇雄、王志国、王志明、王钟绪、温宇豪、文熙安（Tristan VINCENT）、吴高洪、吴纬、夏尔雷（Charley PAULUS）、向振、徐丹、徐枫、徐洁、徐培、徐寅、许翔宇、薛菲、薛景浩、严严、杨劲波、杨翔英、杨忠良、姚玉荣、游钱皓喆、鱼荣珍（EO Young Jin）、俞天利、于信男、袁静、贠亮、张宁、赵雪梅、郑胤、周丹、朱施展、朱小青、朱云峰，博士后高立志、王怀颖以及进修教师崔京守（CHOI Jeong Swu）、郭红伟、石俊生、杨卫平、曾萍萍、张贵仓等。第1版、第2版、第3版和第4版采用的图表除作者本人制作外，也包括他们在研究工作中收集和实验得到的。该书应该说是多人合作成果的体现。
    后，感谢妻子何芸、女儿章荷铭在各方面的理解和支持！

章毓晋
2018年元旦于书房

第3章空域增强：  模板操作

图像是由其基本单元——像素组成的，像素在图像空间是按某种规律排列的，互相之间有一定的联系。在图像处理中，可以且需要根据像素之间的联系来对图像进行加工。

在真实图像中，相邻或接近的像素之间有更密切的联系，常可结合在一起考虑。在图像处理中，常用模板来组合相邻或接近的像素，根据这些像素的统计特性或局部运算来进行操作，称为模板操作或模板运算。利用模板操作来进行图像增强常称为滤波，可以是线性的也可以是非线性的。由于模板操作涉及图像中的局部区域，所以也可方便地进行局部增强。
根据上述的讨论，本章各节将安排如下。
3.1节先对像素的邻域以及像素间的各种联系，包括像素间的邻接、连接和连通，像素集合的邻接和连通，以及像素之间的距离进行介绍。
3.2节讨论模板操作的基本原理和方法(主要是模板卷积操作和模板排序操作)，还讨论模板运算功能的分类情况。
3.3节介绍一些典型的利用模板操作实现的线性滤波方法，其功能包括平滑和锐化图像。
3.4节介绍一些典型的非线性滤波方法，其功能也包括平滑和锐化图像。非线性滤波也可与线性滤波方法结合使用。
3.5节分析利用模板操作进行图像局部增强的原理、思路和效果。
3.1像素间联系
模板操作涉及对一组像素的同时操作，为此需要对像素间联系有一定了解。像素之间的联系有多种，既有空间上的联系也有幅度上的联系。下面介绍邻域、邻接、连接和连通等基本概念。
3.1.1像素的邻域和邻接
对一个像素来说，与它关系密切的常是它的邻近像素/近邻像素，它们组成该像素的邻域。根据对一个坐标为(x,y)的像素p的近邻像素的不同定义，可以得到由不同近邻像素所组成的不同的邻域。常见的像素邻域主要有如下3种形式(更多形式可见本套书中册)。
(1) 4邻域N4(p)
它由像素p的水平(左，右)和垂直(上，下)共4个近邻像素组成，这些近邻像素的坐标分别是(x 1,y)，(x-1,y)，(x,y 1)，(x,y-1)。图3.1.1(a)给出4邻域的一个示例，组成p的4邻域的4个像素均用r表示，它们与p有公共的边。

图3.1.1像素的邻域

(2) 对角邻域ND(p)
它由p的对角(左上，右上，左下，右下)共4个近邻像素组成，这些近邻像素的坐标分别是(x 1,y 1)，(x 1,y-1)，(x-1,y 1)，(x-1,y-1)。图3.1.1(b)给出对角邻域的一个示例，组成p的对角邻域的4个像素均用s表示，它们与p有公共的顶角。对角邻域一般不单独使用。
(3) 8邻域N8(p)
它由p的4个4邻域像素加上4个对角邻域像素合起来构成。图3.1.1(c)给出8邻域的一个示例，其中组成p的8邻域的4个4邻域像素用r表示，4个对角邻域像素用s表示。
需要指出，根据上述对邻域的定义，如果像素p本身处在图像的边缘，则它的N4(p)、ND(p)和N8(p)中的若干个像素会落在图像之外。在图3.1.1中，如果将p的8邻域看作一幅3×3的图像，考虑一下N4(r)、ND(s)、N8(r)和N8(s)，就很容易理解这种情况。处理这种情况的方法可见3.2节。
在上述定义的像素邻域中，一个像素与其邻域中的像素是有接触的，也称为邻接的。图像中两个像素是否邻接就看它们是否接触。邻接表示了一种像素间的空间接近关系。
根据像素邻域的不同，邻接也对应分成3种：

4邻接，对角邻接，8邻接。
3.1.2像素间的连接和连通
两个像素的邻接仅与它们的空间位置有关，而像素间的连接和连通还要考虑像素的属性值(以下讨论中以灰度值为例)之间的关系。
1. 像素的连接
对两个像素来说，要确定它们是否连接需要考虑两点： ①它们在空间上是否邻接； ②它们的灰度值是否满足某个特定的相似准则(例如它们灰度值相等，或同在一个灰度值集合中取值)。举例来说，在一幅只有0和1灰度的二值图中，
只有当
一个像素和在它邻域中的像素
具有相同的灰度值时才可以说是连接的。
设用V表示定义连接的灰度值集合。例如在一幅二值图中，为考虑两个灰度值为1的像素之间的连接，可取V={1}。又如在一幅有256个灰度级的灰度图中，考虑灰度值为128~150的两个像素的连接时，取V=｛128,129,…,149,150｝。参见图3.1.1，可讨论以下两种常用的连接。
(1) 4连接： 2个像素p和r在V中取值且r在N4(p)中，则它们为4连接。
(2) 8连接： 2个像素p和r在V中取值且r在N8(p)中，则它们为8连接。
可以看出，两个连接的像素一定是邻接的，但两个邻接的像素不一定是连接的。
2.  像素的连通
在像素连接的基础上，可进一步讨论和定义像素之间的连通。实际上，像素连通可以看作是像素连接的一种推广。为讨论连通先来定义两个像素间的通路。从具有坐标(x,y)的像素p到具有坐标(s,t)的像素q的一条通路由一系列具有坐标(x0,y0)，(x1,y1)，…，(xn,yn)的独立像素组成。这里(x0,y0)=(x,y)，(xn,yn)=(s,t)，且(xi,yi)与(xi-1,yi-1)邻接，其中1≤i≤n，n为通路长度。根据所采用的邻接定义不同，可定义或得到不同的通路，如4通路、8通路。这里对通路的定义仅仅考虑了像素坐标空间上的联系(相当于对邻接关系的推广)，没有考虑像素属性空间上的联系。
上述通路建立了两个像素p和q之间的空间邻接联系。进一步，如果这条通路上的所有像素的灰度值均满足某个特定的相似准则，即两两邻接的像素也是两两连接的，则可以说像素p和q是连通的。同样根据所采用的连接

图3.1.2邻接、连接、通路、连通

之间的关系

定义的不同，可定义或得到不同的连通，如4连通，8连通。当n=1时，连通转化为其特例——连接。
邻接、连接、通路、连通之间的关系可借助图3.1.2来直观的理解。首先从邻接出发，如果将两个像素的邻接推广到一系列两两邻接的像素就得到通路； 如果将两个像素的空间相近扩展到属性也相似则得到连接关系。进一步，如果将两个像素的连接推广到一系列像素的两两连接就实现了连通； 而如果将仅考虑空间相连的通路扩展到属性相似则也可实现连通。反过来，连接是仅仅两个像素之间的连通； 而通路是不考虑属性的简化。后，连接不考虑属性的简化就是邻接； 而邻接是仅两个像素的通路。

3. 像素集合的邻接、连接和连通
如果将一幅图像看作一个由像素构成的集合，则根据像素间的联系，常可将某些像素结合组成图像的子集合。换句话说，图像中的子集仍是像素的集合，是图像的一部分。对两个图像子集S和T来说，如果S中的一个或一些像素与T中的一个或一些像素邻接，则可以说两个图像子集S和T是邻接的。这里根据所采用的像素邻接定义，可以定义或得到不同的邻接图像子集。如可以说两个图像子集4邻接，两个8邻接的图像子集等。
类似于像素的连接，对两个图像子集S和T来说，要确定它们是否连接也需要考虑两点： ①它们是否是邻接图像子集； ②它们中邻接像素的灰度值是否满足某个特定的相似准则。换句话说，如果S中的一个或一些像素与T中的一个或一些像素连接，则可以说两个图像子集S和T是连接的。
设p和q是一个图像子集S中的两个像素，如果存在一条完全由在S中的像素组成的从p到q的通路，且其上像素灰度值满足相似准则，那么就称p在S中与q相连通。对S中任一个像素p，所有与p相连通且又在S中的像素组成的集合(包括p)合起来称为S中的一个连通组元。如果S中只有一个连通组元，即S中所有像素都互相连通，则称S是一个连通集。如果一幅图像中所有的像素分属于几个连通集，则可以说这几个连通集分别是该幅图像的连通组元。在的情况下，一幅图像中所有的像素都互相连通，则该幅图像本身就是一个连通集。
一幅图像里每个连通集构成该图像的一个区域，所以图像可认为是由一系列区域组成的。如果一个区域中没有孔，称该区域是简单连通的，否则称有孔的区域是多重连通的。一个区域的边界也称区域的轮廓，一般认为轮廓是所在区域的一个子集，它将该区域与其他区域分离开。借助前面对像素邻域的介绍，可以认为组成一个区域的边界像素本身属于该区域而在其邻域中有不属于该区域的像素(更多讨论见中册)。
3.1.3像素间的距离
像素之间的联系常与像素在空间中的接近程度有关。像素在空间中的接近程度可以用像素之间的距离来测量。为测量距离，需要定义距离量度函数。给定3个像素p、q、r，坐标分别为(x,y)、(s,t)、(u,v)，如果

满足下列条件，称函数D为一个距离量度函数：
(1) D(p,q)≥0(D(p,q)=0，当且仅当p=q)；
(2) D(p,q)=D(q,p)；
(3) D(p,q) ≤ D(p,r) D(r,q)。
上述3个条件中，第1个条件表明两个像素之间的距离总是正的(两个像素空间位置相同时，其间的距离为零)； 第2个条件表明两个像素之间的距离与起终点的选择无关，或者说距离是相对的； 第3个条件表明两个像素之间的短距离是沿直线的。

例3.1.1测度空间
定义在抽象集合A(其元素a1,a2,a3,…可称为点)上的测度是一个从集合向实数集R映射的函数(可记为d: A×A→R)，对任意3个a1,a2,a3∈A，都有
(1) d(a1,a2)=0，当且仅当a1=a2；
(2) d(a1,a2)≤d(a3,a1) d(a3,a2)；
(3) d(a1,a2)=d(a2,a1)；
(4) d(a1,a2)>0，如果a1 ≠ a2。
二元组(A,d)称为测度空间。□
在图像中，对距离有不同的量度方法。点p和q之间的欧氏距离(也是范数为2的距离)定义为

DE(p,q)=［(x-s)2 (y-t)2］ 1/2(3.1.1)

根据这个距离量度，与坐标为(x,y)的像素的DE距离小于或等于某个值d的像素都包括在以(x,y)为中心、以d为半径的圆中。在数字图像中，只能近似地表示一个圆，例如与(x,y)的DE距离小于或等于3的像素组成如图3.1.3(a)所示的多层嵌套的等距离轮廓(图中距离值已四舍五入到保留一位小数)。