视觉计算基础：计算机视觉、图形学和图像处理的核心概念

本书涵盖了视觉计算的基本概念。为创建、获取、分析和操作视觉数据(如二维图像,三维模型)提供了一个统一的计算和数学处理方法。书中涉及的基本原理包括：卷积、傅里叶变换、滤波器、几何变换、超极几何、三维重建、色彩和图像合成管道。这本书是为一个16周的学期课程而写的，既可以用于本科生和研究生的教学，也可以作为专业人员的参考。

—作者简介—
阿娣提·玛珠德（Aditi Majumder） 加利福尼亚大学欧文分校计算机科学系教授。她的研究集中在计算机图形学、计算机视觉和图像处理的结合上，包括虚拟现实和增强现实以及人机交互。

M. 戈皮（M. Gopi） 加利福尼亚大学欧文分校计算机科学系教授，信息与计算机科学Bren学院副院长。他的研究兴趣包括计算机图形学中的几何与拓扑，面向交互式渲染的海量几何数据管理，以及生物医学传感器、数据处理和可视化。

—译者简介—
赵启军 四川大学计算机学院副教授，研究方向为计算机视觉、模式识别、图像处理、生物特征识别。

出版者的话
译者序
前言
作者简介
第一部分预备知识
第1章数据
11可视化
12离散化
121采样
122量化
13表示
14噪声
15本章小结
参考文献
习题
第2章技术
21插值
211线性插值
212双线性插值
22几何相交
23本章小结
参考文献
习题
第二部分基于图像的视觉计算
第3章卷积
31线性系统
311线性系统的响应
312卷积的性质
32线性滤波器
321全通、低通、带通和高通滤波器
322设计新滤波器
323二维滤波器的可分性
324相关和模式匹配
33实现细节
34本章小结
参考文献
习题
第4章谱分析
41离散傅里叶变换
42极坐标
421性质
422信号分析示例
43频域的周期性
44混叠
45推广到二维插值
451周期性的影响
452陷波器
453混叠效应示例
46对偶性
47本章小结
参考文献
习题
第5章特征检测
51边缘检测
511边缘子检测器
512多分辨率边缘检测
513边缘子聚合
52特征检测
53其他非线性滤波器
54本章小结
参考文献
习题
第三部分基于几何的视觉计算
第6章几何变换
61齐次坐标
62线性变换
63欧氏和仿射变换
631平移
632旋转
633缩放
634剪切
635一些现象
64变换的串联
641相对于中心点的缩放
642相对于任意轴的旋转
65坐标系
66串联的性质
67透视变换
68自由度
69非线性变换
610本章小结
参考文献
习题
第7章针孔相机
71针孔相机模型
711相机标定
712三维深度估计
713单应性
72实际相机的一些考虑
73本章小结
参考文献
习题
第8章对极几何
81背景
82多视几何中的匹配
83基础矩阵
831性质
832基础矩阵的估计
833仿前置双眼的相机设置
84本质矩阵
85整流
86应用对极几何
861根据视差恢复深度
862根据光流恢复深度
87本章小结
参考文献
习题
第四部分基于辐射度的视觉计算
第9章光照
91辐射度学
911双向反射分布函数
912光传播方程
92光度学与色彩
921CIE XYZ色彩空间
922CIE XYZ空间的认知结构
923认知一致色彩空间
93本章小结
参考文献
习题
第10章色彩还原
101加性色彩混合的建模
1011设备的色域
1012色调映射算子
1013强度分辨率
1014显示器示例
102色彩管理
1021色域变换
1022色域匹配
103减性色彩混合的建模
104局限性
1041高动态范围成像
1042多光谱成像
105本章小结
参考文献
习题
第11章光度处理
111直方图处理
112图像融合
1121图像混合
1122图像割
113光度立体视觉
1131阴影处理
1132光照方向计算
1133色彩处理
114本章小结
参考文献
习题
第五部分视觉内容合成
第12章多样化域
121建模
122处理
123渲染
124应用
125本章小结
参考文献
第13章交互式图形流程
131顶点的几何变换
1311模型变换
1312视图变换
1313透视投影变换
1314遮挡处理
1315窗口坐标变换
1316最终变换
132裁剪和属性的顶点插值
133光栅化和属性的像素插值
134本章小结
参考文献
习题
第14章真实感与性能
141光照
142着色
143阴影
144纹理贴图
1441纹理至对象空间映射
1442对象至屏幕空间映射
1443分级细化贴图
145凹凸贴图
146环境贴图
147透明度
148累积缓存
149背面剔除
1410可见性剔除
14101包围体
14102空间细分
14103其他用途
1411本章小结
参考文献
习题
第15章图形编程
151图形处理单元的发展
152图形API和程序库的发展
153现代GPU和CUDA
1531GPU架构
1532CUDA编程模型
1533CUDA存储模型
154本章小结
参考文献

本书是我们十多年来教授视觉计算课程的结晶。作为一门新设计的概述性课程，它旨在为学生提供计算机图形学、计算机视觉和图像处理等不同领域的基础知识。当年，这是一门极具前瞻性的课程。如今，它已成为加利福尼亚大学欧文分校计算机图形学、计算机视觉和图像处理领域所有学生的起步课程，而视觉计算方向未来的新教师则可以借助此课程教授这些领域共通的基础知识。这门课程是研究生教学计划中的
核心入门级课程，它让学生在进入计算机图形学、计算机视觉和图像处理中的具体领域之前有机会更广泛地学习相关知识。从2017年秋季学期开始，这门课程也被采纳为我们专业硕士学位的核心课程之一。有趣的是，自从我们在2006年开始注意到来自计算机图形学、计算机视觉和图像处理中的某一个领域的研究人员在其他领域也有突出表现的时候，研究团体也追随了这一发展趋势，进而形成了一个横跨这些不同领域且在这些领域都同样精通的年轻而又活跃的小研究团体。因此，掌握视觉计算通用领域的广泛知识如今被认为是一个强项，能帮助学生轻松投身到大量使用视觉计算通用知识的计算机科学与其他领域的交叉领域。
写作这本书的灵感来自很多教师和其他教育工作者。他们向我们咨询加利福尼亚大学欧文分校的视觉计算课程，在他们自己的学校开设同样的课程，并且向我们索要包含全部相关知识点的标准教材。在写作本书之前，我们做了以下重要尝试：（1）精心挑选视觉计算介绍性课程所需的广泛而又精简的一组知识点，从而使得学生在决定他们所要从事的具体研究方向之前仅需学习一门课程，而非计算机图形学、计算机视觉和图像处理三门不同课程；（2）精心设计每一个知识点的深度，以确保相关知识点在这门课程中能够毫不费力地讲授；（3）精心组织知识点，以便学生能够看到贯穿这些不同领域的共性。基于这些尝试，我们将本书分成了以下五个部分。
第一部分：预备知识。介绍各种不同的视觉数据（如二维图像、视频和三维几何数据），以及计算机图形学、计算机视觉和图像处理领域所需的核心数学技术（如插值和线性回归）。
第二部分：基于图像的视觉计算。介绍处理二维图像的若干基本技术（如卷积、谱分析和特征检测），这些技术对应人类视觉系统中的低层视网膜图像处理。
第三部分：基于几何的视觉计算。介绍用于综合多个视角的几何信息形成我们周围物体和世界的三维信息的基本技术（如变换、投影和对极几何）。这相当于我们大脑中的高层处理技术，能够综合双眼看到的信息以帮助我们在三维世界中活动。
第四部分：基于辐射度的视觉计算。介绍为处理光线与我们周围物体交互过程中产生的信息所需的基本技术。该知识点同时涉及人类视觉系统中与光照相关的低层和高层处理技术（如阴影、反射率、光强和色彩属性等）。
第五部分：视觉内容合成。介绍创建计算机虚拟世界的基本技术，该世界能够模拟前面介绍的所有处理技术。
该书适合一学期时长16周的课程，既可面向本科生，也可面向研究生。建议的教学进度为第一部分两周，第二和第四部分各三周，第三和第五部分各三周半。每章后的习题可用作每周一次或每两周一次的书面作业。上机实践方面，可以为每一部分安排一项编程作业，其内容可以根据学生的专业技术水平从每部分教授的知识点中选择。本书之所以不依赖于某个具体的编程语言或平台，是为了方便教师根据各自所具备的资源及学生的基础情况灵活选择合适的知识点、平台及编程语言。教学评估方面，最好的做法或许是在第六和第十二周分别安排一次中期测试，再在学期末安排一次综合测试。
在时长10周的课程内教完本书内容通常比较困难。有几种方法可以做到。最简单的方法是增加本课程的学分，在每周安排更多的课时。第二种方法是将全书内容进行分解，压缩每学期要教授的内容。比如，视觉计算课程Ⅰ讲解第1~5章、第9和第10章以及第11章的前两节所涉及的低层视觉计算，而视觉计算课程Ⅱ讲解第6~8章、第11章的最后一节以及第12~15章涉及的高层视觉计算与表示。作为一种备选方案，也可以跳过部分章节，在不破坏概念严谨性的情况下形成本课程的一个缩略版。在加利福尼亚大学欧文分校曾经做过这样的尝试，跳过了第8、10、15章以及第14章中除了纹理映射外的大部分内容。具体要保留、缩减和省略哪些内容完全由教师决定。本书在写作时努力降低了各章之间的依赖性，从而确保教师可以独立选取某些章节进行讲解，而无须担心这些章节依赖于其他章节。
我们希望本书中的内容及其突破传统的组织方式能够激励教师设计自己学校的视觉计算课程并使用本书作为教材，也期待看到学生对于学习视觉计算通用领域知识的兴趣日益增加。我们希望使用本书作为教材的教师能给予我们反馈。请毫无顾虑地告诉我们你在使用本书过程中的任何建议，比如希望增加的内容、细节，或者组织结构。
感谢加利福尼亚大学欧文分校的同事对于设计非传统课程的支持，正是因为他们的支持才有了这本书。感谢加利福尼亚大学欧文分校选修视觉计算课程的学生和助教，是他们帮助我们在每一次授课中不断地发展和完善本书的内容。还要感谢我们的学生Nitin Agrawal和Zahra Montazeri，他们帮助设计与制作了本书中的插图。衷心感谢加利福尼亚大学欧文分校的Shuang Zhao教授、英属哥伦比亚大学的Amy和Bruce Gooch教授、英伟达的David Kirk博士、纽约大学的Chee Yap教授和伊利诺伊大学芝加哥分校的Jan Verschelde教授为我们提供书中有关物理建模、非真实感渲染、几何压缩和GPU架构等的图片。

Aditi Majumder
M. Gopi