计算机视觉：模型、学习和推理

本书是一本从机器学习视角讲解计算机视觉的非常好的教材。全书图文并茂、语言浅显易懂，算法描述由浅入深，即使是数学背景不强的学生也能轻松理解和掌握。作者展示了如何使用训练数据来学习观察到的图像数据和我们希望预测的现实世界现象之间的联系，以及如何如何研究这些联系来从新的图像数据中作出新的推理。本书要求少的前导知识，从介绍概率和模型的基础知识开始，接着给出让学生能够实现和修改来构建有用的视觉系统的实际示例。适合作为计算机视觉和机器学习的高年级本科生或研究生的教材，书中详细的方法演示和示例对于计算机视觉领域的专业人员也非常有用。

Simon J. D. Prince博士，伦敦大学学院计算机科学系高级讲师。他主讲的课程包括：计算机视觉、图像处理和高级数学方法。他有着计算机科学和生物学的专业背景，发表了多篇论文，涉及计算机视觉、生物测定学、心理学、生理学、医学影像、计算机图形学和人机交互。

目录
Computer Vision:Models,Learning,and Inference

译者序
译者简介
序
前言
第1章绪论1
11本书结构2
12其他书籍4
部分概率
第2章概率概述6
21随机变量6
22联合概率7
23边缘化7
24条件概率8
25贝叶斯公式9
26独立性9
27期望10
讨论10
备注11
习题11
第3章常用概率分布12
31伯努利分布13
32贝塔分布13
33分类分布14
34狄利克雷分布14
35一元正态分布15
36正态逆伽马分布15
37多元正态分布16
38正态逆维希特分布16
39共轭性17
总结18
备注18
习题18
第4章拟合概率模型21
41似然法21
42后验法21
43贝叶斯方法22
44算例1：一元正态分布22
441似然估计22
442后验估计24
443贝叶斯方法26
45算例2：分类分布28
451似然法28
452后验法29
453贝叶斯方法30
总结31
备注31
习题32
第5章正态分布34
51协方差矩阵的形式34
52协方差分解35
53变量的线性变换36
54边缘分布36
55条件分布37
56正态分布的乘积38
57变量改变38
总结38
备注39
习题39
第二部分机器视觉的机器学习
第6章视觉学习和推理42
61计算机视觉问题42
62模型的种类42
621判别模型43
622生成模型43
63示例1：回归43
631判别模型44
632生成模型44
64示例2：二值分类46
641判别模型46
642生成模型46
65应该用哪种模型48
66应用49
661皮肤检测49
662背景差分50
总结51
备注51
习题52
第7章复杂数据密度建模54
71正态分类模型54
72隐变量56
73期望化57
74混合高斯模型58
741混合高斯边缘化59
742基于期望化的混合模型拟合59
75t分布63
751学生t分布边缘化64
752拟合t分布的期望化65
76因子分析67
761因子分析的边缘分布68
762因子分析学习的期望化68
77组合模型71
78期望化算法的细节71
781期望化算法的下界73
782E步74
783M步74
79应用75
791人脸检测75
792目标识别76
793分割77
794正脸识别78
795改变人脸姿态（回归）78
796作为隐变量的变换79
总结80
备注80
习题81
第8章回归模型82
81线性回归82
811学习83
812线性回归模型的问题83
82贝叶斯线性回归84
821实际考虑85
822拟合方差86
83非线性回归87
831似然法87
832贝叶斯非线性回归89
84核与核技巧89
85高斯过程回归90
86稀疏线性回归91
87二元线性回归93
88相关向量回归95
89多变量数据回归96
810应用96
8101人体姿势估计96
8102位移专家97
讨论98
备注98
习题98
第9章分类模型100
91逻辑回归100
911学习:似然估计102
912逻辑回归模型的问题103
92贝叶斯逻辑回归104
921学习104
922推理106
93非线性逻辑回归107
94对偶逻辑回归模型108
95核逻辑回归110
96相关向量分类111
97增量拟合和boosting113
98分类树116
99多分类逻辑回归117
910随机树、随机森林和随机蕨分类器118
911与非概率模型的联系119
912应用120
9121性别分类120
9122脸部和行人检测121
9123语义分割122
9124恢复表面布局123
9125人体部位识别124
讨论125
备注125
习题127
第三部分连接局部模型
第10章图模型130
101条件独立性130
102有向图模型131
1021示例1132
1022示例2132
1023示例3133
1024总结134
103无向图模型134
1031示例1135
1032示例2136
104有向图模型与无向图模型的对比136
105计算机视觉中的图模型137
106含有多个未知量的模型推理139
1061求后验概率的解139
1062求后验概率分布的边缘分布139
1063化边缘140
1064后验分布的采样140
107样本采样140
1071有向图模型的采样141
1072无向图模型的采样141
108学习142
1081有向图模型的学习142
1082无向图模型的学习143
讨论145
备注145
习题145
第11章链式模型和树模型147
111链式模型148
1111有向链式模型148
1112无向链式模型148
1113模型的等价性148
1114隐马尔可夫模型在手语中的应用149
112链式MAP推理149
113树的MAP推理152
114链式边缘后验推理155
1141求解边缘分布155
1142前向后向算法156
1143置信传播157
1144链式模型的和积算法158
115树的边缘后验推理160
116链式模型和树模型的学习161
117链式模型和树模型之外的东西161
118应用163
1181手势跟踪163
1182立体视觉164
1183形象化结构166
1184分割167
讨论167
备注168
习题169
第12章网格模型172
121马尔可夫随机场172
1211网格示例173
1212离散成对MRF图像去噪174
122二值成对马尔可夫随机场的MAP推理175
1221流/小割176
1222MAP推理：二值变量177
123多标签成对MRF的MAP推理182
124非凸势的多标签MRF186
125条件随机场189
126高阶模型190
127网格有向模型190
128应用191
1281背景差分191
1282交互式分割192
1283立体视觉193
1284图像重排193
1285超分辨率195
1286纹理合成196
1287合成新面孔197
讨论198
备注198
习题200
第四部分预处理
第13章图像预处理与特征提取204
131逐像素变换204
1311白化204
1312直方图均衡化205
1313线性滤波206
1314局部二值模式210
1315纹理基元映射211
132边缘、角点和兴趣点212
1321Canny边缘检测器212
1322Harris角点检测器214
1323SIFT检测器215
133描述子216
1331直方图216
1332SIFT描述子216
1333方向梯度直方图217
1334词袋描述子218
1335形状内容描述子218
134降维219
1341单数值近似220
1342主成分分析221
1343二元主成分分析221
1344K均值算法222
结论223
备注223
习题224
第五部分几何模型
第14章针孔摄像机228
141针孔摄像机简介228
1411归一化摄像机229
1412焦距参数230
1413偏移量和偏移参数230
1414摄像机的位置与方向231
1415全针孔摄像机模型232
1416径向畸变232
142三个几何问题233
1421问题1：学习外在参数233
1422问题2：学习内在参数234
1423问题3：推理3D世界点235
1424解决问题235
143齐次坐标236
144学习外在参数237
145学习内在参数239
146推理3D世界点240
147应用241
1471结构光的深度241
1472剪影重构243
讨论245
备注245
习题246
第15章变换模型249
151二维变换模型249
1511欧氏变换模型249
1512相似变换模型251
1513仿射变换模型252
1514投影变换模型252
1515增加不确定性254
152变换模型中的学习255
1521学习欧氏参数255
1522学习相似参数256
1523学习仿射参数256
1524学习投影参数257
153变换模型中的推理258
154平面的三个几何问题258
1541问题1：学习外在参数258
1542问题2：学习内在参数260
1543问题3：与摄像机相关的3D位置推理261
155图像间的变换261
1551单应性的几何特征262
1552计算图像间的变换263
156变换的鲁棒学习264
1561RANSAC264
1562连续RANSAC265
1563PEaRL266
157应用268
1571增强现实追踪268
1572视觉全景269
讨论270
备注270
习题271
第16章多摄像机系统273
161双视图几何学理论273
1611极线约束274
1612极点274
162实矩阵275
1621实矩阵的属性276
1622实矩阵的分解277
163基础矩阵279
1631基础矩阵的估计279
16328点算法280
164双视图重构的流程281
165校正284
1651平面校正284
1652极面校正286
1653校正后处理287
166多视图重构287
167应用290
1671三维重构290
1672图片浏览291
1673立体图割292
讨论293
备注293
习题294
第六部分视觉模型
第17章形状模型298
171形状及其表示298
172snake模型299
1721推理301
1722snake模型中存在的问题301
173形状模板302
1731推理303
1732用迭代近点算法进行推理304
174统计形状模型304
1741学习305
1742推理306
175子空间形状模型306
1751概率主成分分析307
1752学习308
1753推理309
176三维形状模型311
177形状和外观的统计模型311
1771学习313
1772推理314
178非高斯统计形状模型315
1781回归PPCA315
1782高斯过程隐变量模型316
179铰接式模型317
1710应用319
17101三维形变模型319
17102三维人体模型321
讨论322
备注322
习题324
第18章身份与方式模型326
181子空间身份模型328
1811学习329
1812推理331
1813在其他识别任务中的推理332
1814身份子空间模型的局限性333
182概率线性判别分析334
1821学习335
1822推理335
183非线性身份模型336
184非对称双线性模型337
1841学习339
1842推理339
185对称双线性和多线性模型341
1851学习342
1852推理343
1853多线性模型344
186应用344
1861人脸识别344
1862纹理建模345
1863动画合成346
讨论346
备注346
习题348
第19章时序模型349
191时序估计框架349
1911推理350
1912学习350
192卡尔曼滤波器351
1921推理351
1922改写测量合并阶段352
1923推理总结353
1924示例1353
1925示例2354
1926滤波355
1927时序和测量模型356
1928卡尔曼滤波器的问题358
193扩展卡尔曼滤波器358
194无损卡尔曼滤波器360
1941状态演化361
1942测量合并过程362
195粒

前言Computer Vision:Models,Learning,and Inference目前，已有很多关于计算机视觉的书籍，那么还有必要再写另外一本吗？下面解释撰写本书的原因。
计算机视觉是一门工程学科，机器在现实世界中捕获的视觉信息可以激发我们的积极性。因此，我们通过使用计算机视觉解决现实问题来对我们的知识进行分类。例如，大多数视觉教科书都包含目标识别和立体视觉内容。我们的学术研讨会也是用同样的模式进行组织的。本书对这一传统方式提出了质疑：这真的是我们组织自己知识的正确方法吗？对于目标识别问题，目前已提出多种算法解决这一问题（例如子空间模型、boosting模型、语义包模型、星座模型等）然而，这些方法没有什么共同点。任何试图全面描述知识的壮举都会转变为一个非结构化的技术列表。我们怎样让新同学把所有的技术和理论都弄懂呢?我主张使用一种不同的方式来组织知识，但首先让我告诉大家我是如何看待计算机视觉问题的。
对于一幅图像，我们不仅要观察图像中的内容，同时还需要提取其测量值。例如，我们可以直接使用RGB值，或者对图像进行滤波处理，或者执行一些更复杂的预处理。计算机视觉的目标或者需要解决的问题是使用这些测量值来推理全局状态。例如：在立体视觉中，我们尝试推断出场景的深度。在目标识别中，我们尝试推断某一特定类目标存在与否。
为了实现目标，我们建立一个模型。模型描述了测量值与全局状态之间的一系列统计关系。这一系列统计关系中的特殊成员是由一个参数集合确定的。在学习的过程中，选择这些参数，以便它们能够准确反映测量值与全局状态之间的关系。在推理的过程中，选用一组新的测量值，并利用学习后的模型来推理全局状态。学习和推理的方法包含在算法中。我认为计算机视觉应该从以下几方面来理解：目标、测量值、全局状态、模型、参数、学习和推理算法。
我们可以根据这些量选择性地组织知识，但在我看来，模型中重要的内容是全局状态和测量值之间的统计关系。这主要有三个原因。首先,模型的类型往往超越了应用(同一个模型可用于不同的视觉任务)；其次，模型能够自然地把它们自身组织成一些可分开理解的系列（例如，回归、马尔可夫随机场、相机模型）；后，在模型层次上讨论视觉问题使得我们能够得到那些貌似不相关的算法和应用之间的关联。因此，本书的章节安排非常巧妙，每个主要的章节都讨论一系列不同的模型。
后一点，本书中的大部分思想在次接触到时是难以理解的。因此，我的目标是使后续研究计算机视觉的学生更容易理解这些内容，我希望这本书能够达到这一目的，并能够激励读者深入了解计算机视觉。
原出版社网站和作者网站（www.computervisionmodels.com）上包含丰富的教辅和参考资源，包括教学幻灯片、插图文件、书中包含算法和模型的详细介绍、源代码、进一步阅读资源、相关课程的教学大纲以及部分习题答案。书中全部习题答案，只有使用本书作为教材的教师才可以申请，需要的教师可向剑桥大学出版社北京代表处申请，电子邮件：solutions@cambridgeorg。——编辑注致谢非常感谢以下阅读本书并提出宝贵意见的读者:Yun Fu、David Fleet、Alan Jepson、Marc’Aurelio Ranzato、Gabriel Brostow、Oisin Mac Aodha、Xiwen Chen、PoHsiu Lin、Jose Tejero Alonso、Amir Sani、Oswald Aldrian、Sara Vicente、Jozef Dobos、Andrew Fitzgibbon、Michael Firman、Gemma Morgan、Daniyar Turmukhambetov、Daniel Alexander、Mihaela Lapusneanu、JohnWinn、Petri Hiltunen、Jania Aghajanian、Alireza Bossaghzadeh、Mikhail Sizintsev、Roger De SouzaEremita、Jacques Cali、Roderick de Nijs、James Tompkin、Jonathan O’Keefe、Benedict Kuester、Tom Hart、Marc Kerstein、Alex Borés、Marius Cobzarenco、Luke Dodd、Ankur Agarwal、Ahmad Humayun、Andrew Glennerster、Steven Leigh、Matteo Munaro、Peter van Beek、Hu Feng、Martin Parsley、Jordi Salvador Marcos、Josephine Sullivan、Steve Thompson、Laura Panagiotaki、Damien Teney、Malcolm Reynolds、Francisco Estrada、Peter Hall、James Elder、Paria Mehrani、Vida Movahedi、Eduardo Corral Soto、Ron Tal、Bob Hou、Simon Arridge、Norberto Goussies、Steve Walker、Tracy Petrie、Kostantinos Derpanis、Bernard Buxton、Matthew Pediaditis、Fernando FloresMangas、Jan Kautz、Alastair Moore、Yotam Doron、Tahir Majeed、David Barber、Pedro Quelhas、Wenchao Zhang、Alan Angold、Andrew Davison、Alex Yakubovich、Fatemeh Jamali、David Lowe、Ricardo David、Jamie Shotton、Andrew Zisserman、Sanchit Singh、Vincent Lepetit、David Liu、Marc Pollefeys、Christos Panagiotou、Ying Li、Shoaib Ehsan、Olga Veksler、Modesto Castrillón Santana、Axel Pinz、Matteo Zanotto、Gwynfor Jones、Brian Jensen、Mischa Schirris、Jacek Zienkiewicz、Etienne Beauchesne、Erik Sudderth、Giovanni Saponaro、Moos Hueting