机器学习导论(原书第3版)

 

本书是关于机器学习这一主题内容全面的教科书，涵盖了通常在机器学习导论中并不包括的广泛题材。对机器学习的定义和应用实例进行了介绍，涵盖了监督学习、贝叶斯决策理论、参数方法、多元方法、维度归约、聚类、非参数方法、决策树、线性判别式、多层感知器、局部模型、核机器、图方法、隐马尔可夫模型、贝叶斯估计、组合多学习器、增强学习以及机器学习实验的设计与分析等。 

 

目录

Introduction to Machine Learning，Third Edition

出版者的话

译者序

前言

符号说明

第1章引言1

11什么是机器学习1

12机器学习的应用实例2

121学习关联性2

122分类3

123回归5

124非监督学习6

125增强学习7

13注释8

14相关资源10

15习题11

16参考文献12

第2章监督学习13

21由实例学习类13

22VC维16

23概率近似正确学习16

24噪声17

25学习多类18

26回归19

27模型选择与泛化21

28监督机器学习算法的维23

29注释24

210习题25

211参考文献26

第3章贝叶斯决策理论27

31引言27

32分类28

33损失与风险29

34判别式函数30

35关联规则31

36注释33

37习题33

38参考文献36

第4章参数方法37

41引言37

42似然估计37

421伯努利密度38

422多项式密度38

423高斯（正态）密度39

43评价估计：偏倚和方差39

44贝叶斯估计40

45参数分类42

46回归44

47调整模型的复杂度：偏倚/方差两难选择46

48模型选择过程49

49注释51

410习题51

411参考文献53

第5章多元方法54

51多元数据54

52参数估计54

53缺失值估计55

54多元正态分布56

55多元分类57

56调整复杂度61

57离散特征62

58多元回归63

59注释64

510习题64

511参考文献66

第6章维度归约67

61引言67

62子集选择67

63主成分分析70

64特征嵌入74

65因子分析75

66奇异值分解与矩阵分解78

67多维定标79

68线性判别分析82

69典范相关分析85

610等距特征映射86

611局部线性嵌入87

612拉普拉斯特征映射89

613注释90

614习题91

615参考文献92

第7章聚类94

71引言94

72混合密度94

73k均值聚类95

74期望化算法98

75潜在变量混合模型100

76聚类后的监督学习101

77谱聚类102

78层次聚类103

79选择簇个数104

710注释104

711习题105

712参考文献106

第8章非参数方法107

81引言107

82非参数密度估计108

821直方图估计108

822核估计109

823k近邻估计110

83推广到多变元数据111

84非参数分类112

85精简的近邻112

86基于距离的分类113

87离群点检测115

88非参数回归：光滑模型116

881移动均值光滑116

882核光滑117

883移动线光滑119

89如何选择光滑参数119

810注释120

811习题121

812参考文献122

第9章决策树124

91引言124

92单变量树125

921分类树125

922回归树128

93剪枝130

94由决策树提取规则131

95由数据学习规则132

96多变量树134

97注释135

98习题137

99参考文献138

第10章线性判别式139

101引言139

102推广线性模型140

103线性判别式的几何意义140

1031两类问题140

1032多类问题141

104逐对分离142

105参数判别式的进一步讨论143

106梯度下降144

107逻辑斯谛判别式145

1071两类问题145

1072多类问题147

108回归判别式150

109学习排名151

1010注释152

1011习题152

1012参考文献154

第11章多层感知器155

111引言155

1111理解人脑155

1112神经网络作为并行处理的典范156

112感知器157

113训练感知器159

114学习布尔函数160

115多层感知器161

116作为普适近似的MLP162

117向后传播算法163

1171非线性回归163

1172两类判别式166

1173多类判别式166

前言Introduction to Machine Learning，Third Edition机器学习肯定是计算机科学成长快的领域之一。不仅数据在持续变“大”，而且处理数据并将它转换成知识的理论也在不断发展。在科学的各个领域，从天文学到生物学，以及在日常生活中，随着数字技术日益渗透到我们的日常生活中，随着数字足迹的深入，更多的数据被源源不断地产生和收集。无论是科学的还是个人的，被动蛰伏的数据没有任何用处，而聪明的人们一直在寻找新的方法来利用数据，把它转换成有用的产品或服务。在这种转换中，机器学习正发挥着越来越大的作用。

自从本书第2版2010年面世以来，数据进化一直在持续，甚至更快。每年，数据集都在变大。不仅观测的数量在增长，而且观测属性的数量也在显著增加。数据有了更多的结构：不再仅仅是数和字符串，而且还有图像、视频、音频、文档、网页、点击日志、图等。数据与我们以前常做的参数假设（例如正态性）渐行渐远。数据常常是动态的，因而存在一个时间维度。有时，我们的观测是多视图的――对于相同的对象或事件，我们有来自不同传感器和不同模式的多个信息源。

我们相信，在这看似复杂和庞大的数据背后存在简单的解释。虽然数据很大，但是它可以使用具有少量隐藏因子及其相互作用的相对简单的模型来解释。想想数百万客户，他们每天在线或从当地超市购买数千种产品。这意味着一个非常大的交易数据库，但是该数据存在模式。没有人随机购物。举办酒会的人购买产品的某个子集，家有婴儿的人购买产品的不同子集；存在解释客户行为的隐藏因子。

从观测数据推断这种隐藏模型是近年来已经做了大量研究的领域之一。新版中的修改大部分都与这些进展有关。第6章新增了关于特征嵌入、奇异值分解和矩阵分解、典范相关分析、拉普拉斯特征映射的内容。

第8章和关于核机器的第13章新增了关于距离估计的内容。维度归约、特征提取和距离估计是同一个东西的三个名称――理想的距离度量定义在理想的隐藏特征的空间中，而从数量上看，它们少于我们观测的值。

重写并显著扩充了第16章，以便涵盖生成模型。我们对所有主要的机器学习模型，即对分类、回归、混合模型和维度归约，讨论贝叶斯方法。非参数贝叶斯建模在过去的几年中日益流行，尤其令人感兴趣，因为它允许调整模型的复杂度，以适应数据的复杂度。

新版各处新增了一些章节，主要是突出相同或非常类似方法的新的不同应用。第8章新增了一节离群点检测。第10和13章新增两节，分别讨论用于排名的线性模型和核机器。拉普拉斯特征映射添加到第6章，还在第7章新增一节讨论谱聚类。鉴于深度神经网络的近复苏，有必要在第11章新增一节讨论深度学习。第19章新增一节讨论方法比较的多元检验。

自第1版面世以来，许多使用本书自学的读者提出索取习题答案的请求。在这个新的版本中，已经包括了部分习题的答案。它们有时是完整的答案，有时只是一个提示，或只提供多种可能答案中的一种。

我要感谢使用前两版的所有老师和学生，以及它们的德文、中文和土耳其文翻译和在印度的重印。我永远感激那些发给我评价、批评、勘误，或以任何其他方式提供反馈的人。请继续这样做。我的电子邮件地址是alpaydin@bounedutr。本书的网站是http://wwwcmpebounedutr/them/i2ml3e再次与MIT出版社共事出版第3版是一件令人愉快的事。感谢Marie Lufkin Lee、Marc Lowenthal和Kathleen Caruso，感谢他们的帮助和支持。