机器学习：工程师和科学家的第一本书 [瑞典]安德里亚斯·林霍尔姆(

·本书在数学知识的深度和广度之间实现了理想的平衡。·本书不仅讲解清晰，而且包含很多图示，是自学的绝佳工具，也可以作为机器学习入门课的教科书。·对于那些有数学背景并且想了解有监督的机器学习原理的读者来说，本书不可不读。

在连贯的统计框架中，本书涵盖了一系列有监督的机器学习方法，包括基础方法（k-NN、决策树、线性和逻辑回归等）和高级方法（深度神经网络、支持向量机、高斯过程、随机森林和提升等），以及常用的无监督方法（生成模型、k-均值聚类、自动编码器、主成分分析和生成对抗网络等）。所有方法都包含详细的解释和伪代码。通过在方法之间建立联系，讨论一般概念（例如损失函数、zuida似然、偏差-方差分解、核和贝叶斯方法），同时介绍常规的实用工具（例如正则化、交叉验证、评估指标和优化方法），本书始终将关注点放在基础知识上。最后两章为解决现实世界中有监督的机器学习问题和现代机器学习的伦理问题提供了实用建议。

安德里亚斯·林霍尔姆（Andreas Lindholm） 瑞典Annotell公司机器学习研究工程师，致力于解决自动驾驶的数据注释和数据质量问题。2013年获得林雪平大学理学硕士学位，2018年获得乌普萨拉大学信息技术方向博士学位。

尼克拉斯·瓦尔斯特伦（Niklas Wahlstr?m） 乌普萨拉大学系统与控制系助理教授。2010年获得林雪平大学理学硕士学位，2015年获得林雪平大学自动控制方向博士学位。

弗雷德里克·林斯滕（Fredrik Lindsten） 林雪平大学统计与机器学习系副教授。2013年获得林雪平大学自动控制方向博士学位。他曾获得瑞典战略研究基金会颁发的Ingvar Carlsson奖和乌普萨拉皇家科学学会颁发的Benzelius奖。

托马斯·B. 舍恩（Thomas B. Sch?n） 乌普萨拉大学人工智能方向教授。2018年当选瑞典皇家工程科学院和乌普萨拉皇家科学学会院士。他曾获得瑞典皇家科学院颁发的Tage Erlander奖和Arnberg奖。他是ELLIS协会会士。

目　　录
Machine Learning: A First Course for Engineers and Scientists

译者序
致谢
符号表
第1章?引?言 1
1.1?机器学习的示例 1
1.2?关于本书 8
1.3?拓展阅读 9
第2章?有监督学习：第一个方法 10
2.1?有监督机器学习 10
2.1.1　从有标记的数据中学习 10
2.1.2　数值型和分类型变量 11
2.1.3　分类和回归 11
2.1.4　在训练数据之外进行泛化 14
2.2　一个基于距离的方法：k-NN 14
2.2.1　k-NN算法 14
2.2.2　分类器的决策边界 16
2.2.3　k的选择 17
2.2.4　输入标准化 19
2.3　一种基于规则的方法：决策树 20
2.3.1　学习回归树 21
2.3.2　分类树 24
2.3.3　决策树应该多深？ 27
2.4　拓展阅读 29
第3章?基本参数模型和统计视角上的学习 30
3.1?线性回归 30
3.1.1　线性回归模型 30
3.1.2　用训练数据训练线性回归模型 31
3.1.3　损失函数和代价函数 32
3.1.4　最小二乘法和正规方程 33
3.1.5　最大似然视角 35
3.1.6　分类型输入变量 36
3.2　分类和逻辑回归 36
3.2.1　从统计角度看分类问题 36
3.2.2　二元分类的逻辑回归模型 38
3.2.3　通过最大似然法训练逻辑回归模型 39
3.2.4　预测和决策边界 40
3.2.5　两类以上的逻辑回归 42
3.3　多项式回归和正则化 44
3.4　广义线性模型 46
3.5 拓展阅读 48
3.A　正规方程的推导 49
3.A.1　微积分方法 49
3.A.2　线性代数方法 49
第4章?理解、评估和提高性能 51
4.1　预期的新数据错误：实际生产环境中的性能 51
4.2　估计 53
4.2.1　：我们无法从训练数据中估计 53
4.2.2　：我们可以从保留的验证数据中估计 54
4.2.3　k-fold 交叉验证：无须设置保留验证数据 55
4.2.4　使用测试数据集 57
4.3　的训练误差：泛化差距分解 57
4.3.1　什么影响泛化差距？ 58
4.3.2　在实际应用中降低 61
4.3.3　模型复杂度的缺陷 62
4.4　的偏差-方差分解 63
4.4.1　什么影响偏差和方差？ 65
4.4.2　偏差、方差和泛化差距之间的联系 67
4.5　用于评估二元分类器的其他工具 70
4.5.1　混淆矩阵和ROC曲线 70
4.5.2　分数和精确率-召回率曲线 72
4.6　拓展阅读 73
第5章 学习参数模型 75
5.1 　参数化建模原则 75
5.1.1　非线性参数函数 75
5.1.2　损失最小化作为泛化替代 77
5.2 　损失函数和基于似然的模型 78
5.2.1　回归中的损失函数 79
5.2.2　二元分类中的损失函数 80
5.2.3　多类分类 83
5.2.4　基于似然的模型和最大似然方法 83
5.2.5　严格正确的损失函数和渐近最小化器 85
5.3 　正则化 88
5.3.1　正则化 88
5.3.2　正则化 89
5.3.3　一般显式正则化 90
5.3.4　隐式正则化 90
5.4 　参数优化 90
5.4.1　闭式解优化 92
5.4.2　梯度下降 93
5.4.3　二阶梯度法 96
5.5 　大型数据集优化 100
5.5.1　随机梯度下降 100
5.5.2　随机梯度下降的学习率和收敛度 101
5.5.3　随机二阶梯度法 103
5.5.4　自适应方法 103
5.6 　超参数优化 103
5.7 　拓展阅读 105
第6章 神经网络和深度学习 106
6.1　神经网络模型 106
6.1.1　广义线性回归 106
6.1.2　双层神经网络 107
6.1.3　单元向量化 108
6.1.4　深度神经网络 109
6.1.5　数据点向量化 110
6.1.6　用于分类的神经网络 111
6.2　训练神经网络 112
6.2.1　反向传播 113
6.2.2　初始化 117
6.3　卷积神经网络 118
6.3.1　图像的数据表示 118
6.3.2　卷积层 119
6.3.3　稀疏相互作用 119
6.3.4　参数共享 120
6.3.5　卷积层和步幅 120
6.3.6　池化层 121
6.3.7　多通道 122
6.3.8　完整的CNN架构 123
6.4　dropout 124
6.4.1　子网络集成 125
6.4.2　通过dropout训练 125
6.4.3　测试时的预测 126
6.4.4　dropout和bagging 126
6.4.5　将dropout作为正则化方法 127
6.5　拓展阅读 127
6.A　反向传播方程的推导 128
第7章?集成方法：bagging和提升方法 129
7.1 　bagging方法 129
7.1.1　自举法 131
7.1.2　通过取平均值降低方差 132
7.1.3　包外误差估计 135
7.2　随机森林 136
7.3　提升方法和AdaBoost 138
7.3.1　AdaBoost 140
7.3.2　AdaBoost的设计选择 145
7.4　梯度提升方法 145
7.5　拓展阅读 149
第8章 非线性输入变换和核 151
8.1　通过非线性输入变换创造特征 151
8.2　核岭回归 153
8.2.1　对线性回归的重构 153
8.2.2　核的主要思想 155
8.3　支持向量回归 158
8.3.1　更多核方法的预备工作：表示定理 158
8.3.2　支持向量回归方法 159
8.3.3　对于核函数在回归问题中的应用的总结 162
8.4　核理论 162
8.4.1　核k-NN简介 162
8.4.2　核函数的意义 164
8.4.3　选择有效的核函数 165
8.4.4　核函数的例子 166
8.5　支持向量分类 167
8.6　拓展阅读 171
8.A　表示定理 171
8.B　支持向量分类的推导 172
第9章 贝叶斯方法和高斯过程 174
9.1　贝叶斯思想 174
9.1.1　对于信念的一种表示 175
9.1.2　间隔似然在模型选择上的应用 176
9.2　贝叶斯线性回归 176
9.2.1　多元高斯分布 177
9.2.2　基于贝叶斯方法的线性回归 177
9.2.3　与正则化线性回归的关联 181
9.3　高斯过程 181
9.3.1　什么是高斯过程？ 182
9.3.2　将核岭回归扩展为高斯过程 186
9.3.3　函数的非参数分布 188
9.3.4　对高斯过程采样 190
9.4　高斯过程的实际应用 191
9.4.1　选择核函数 191
9.4.2　超参数的调参 192
9.5　机器学习中的其他贝叶斯方法 195
9.6　拓展阅读  195
9.A　多元高斯分布 196
第10章?生成模型和无标记学习 198
10.1　高斯混合模型和判别分析 198
10.1.1　高斯混合模型 199
10.1.2　高斯混合模型的有监督学习 200
10.1.3　预测新输入的输出标签：判别分析 201
10.1.4　高斯混合模型的半监督学习 203
10.2　聚类分析 208
10.2.1　高斯混合模型的无监督学习 208
10.2.2　k-均值聚类 212
10.2.3　选择集群的数量 214
10.3　深层生成模型 215
10.3.1　可逆的非高斯模型和标准化流 216
10.3.2　生成对抗网络 218
10.4　表示学习和降维 221
10.4.1　自动编码器 221
10.4.2　主成分分析 223
10.5　拓展阅读 228
第11章 机器学习的用户视角 229
11.1　定义机器学习问题 229
11.1.1　训练、验证和测试数据 229
11.1.2　验证和测试数据集的大小 230
11.1.3　单一数字评估指标 231
11.1.4　基线和可实现的性能水平 231
11.2　改进机器学习模型 232
11.2.1　由浅入深 232
11.2.2　调试模型 232
11.2.3　训练错误和泛化差距 233
11.2.4　学习曲线 234
11.2.5　误差分析 235
11.2.6　训练和验证/测试数据不匹配 237
11.3　如果我们不能收集更多的数据怎么办？ 238
11.3.1　用略有不同的数据扩展训练数据 238
11.3.2　数据增强 239
11.3.3　迁移学习 239
11.3.4　从未标记数据中学习 240
11.4　实际数据问题 241
11.4.1　异常值 241
11.4.2　数据缺失 241
11.4.3　特征选择 242
11.5?可以相信机器学习模型吗？ 243
11.5.1　理解为什么要做出某种预测 243
11.5.2　最差情况保证 243
11.6?拓展阅读 244
第12章?机器学习中的伦理学 245
12.1　公平和误差函数 245
12.1.1　通过意识实现公平 245
12.1.2　完全公平在数学上是不可能的 246
12.2　关于性能的误导性声明 248
12.2.1　刑事判决 249
12.2.2　以一种可理解的方式解释模型 250
12.2.3　剑桥分析公司的例子 252
12.2.4　医学成像 253
12.3　训练数据的局限性 254
12.4　拓展阅读 257
参考文献 258

译　者　序
Machine Learning: A First Course for Engineers and Scientists
机器学习是人工智能的一个重要分支，作为一个多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科，广泛应用于金融、电商、医疗、制造和娱乐等行业。掌握机器学习相关知识与技能对于工程师和科学家而言至关重要，这已经成为他们的技能。本书属于入门机器学习的基础参考书籍，可作为工程师和科学家学习和了解机器学习的初级课程用书。
全书内容丰富，涉及机器学习的基本概念、算法、模型和方法，适合技术开发人员和学术研究人员学习与参考。全书共由12章组成。第1章主要介绍机器学习的基本概念；第2章介绍有监督学习，包括有监督机器学习、k-NN和决策树；第3章介绍基本参数模型和统计视角上的学习，包括线性回归、分类和逻辑回归、多项式回归和正则化、线性模型等；第4章介绍机器学习算法的理解、评估和提高性能的方法；第5章介绍参数模型的概念，以及损失函数和基于似然的模型、正则化和参数优化等；第6章介绍神经网络和深度学习；第7章介绍集成方法，包括bagging方法、随机森林、AdaBoost和提升方法等；第8章介绍非线性输入变换和核，包括核岭回归、支持向量回归等；第9章介绍贝叶斯方法和高斯过程；第10章介绍生成模型和无标记学习，包括高斯混合模型和判别分析、聚类分析、深层生成模型、表示学习和降维；第11章和第12章分别介绍机器学习的用户视角和机器学习中的伦
理学。
本书的翻译由天津大学多位科研人员通力合作完成，其中汤善江组织了全书的统稿与审校工作，于策、孙超、肖健、毕重科、王梓懿、李政达、程乐祥、李凯华参与了部分章节的翻译与审校。受语言背景以及技术水平所限，书中难免出现翻译错误，希望广大读者批评
指正。

译者
2023年10月于天津大学