数据驱动的科学和工程：机器学习、动力系统与控制详解

数据驱动的研究正在革新复杂系统的建模、预测和控制。本书面向高年级本科生和研究生，提供了一个综合的视角，展示了如何将新兴的方法，如数据科学、数据挖掘和机器学习技术，应用到工程和物理科学中。

译者序
前言
常见的优化方法、方程、符号和缩略语
部分　降维和变换
第1章　奇异值分解1
1.1　概述1
1.2　矩阵近似4
1.3　数学性质和操作方法7
1.4　伪逆、小二乘和回归11
1.5　主成分分析16
1.6　特征脸示例20
1.7　截断和对齐24
1.8　随机奇异值分解29
1.9　张量分解和N路数据数组33
第2章　傅里叶变换与小波变换37
2.1　傅里叶级数和傅里叶变换37
2.2　离散傅里叶变换和快速傅里叶变换45
2.3　偏微分方程的变换51
2.4　Gabor变换和频谱图56
2.5　小波和多分辨率分析61
2.6　二维变换和图像处理63
第3章　稀疏性和压缩感知68
3.1　稀疏性和压缩68
3.2　压缩感知71
3.3　压缩感知示例74
3.4　压缩几何77
3.5　稀疏回归80
3.6　稀疏表示83
3.7　鲁棒主成分分析87
3.8　稀疏传感器布置89
第二部分　机器学习和数据分析
第4章　回归和模型选择95
4.1　经典曲线拟合96
4.2　非线性回归与梯度下降101
4.3　回归与方程组Ax = b：超定和欠定系统106
4.4　优化是回归的基石111
4.5　帕累托边界和简约原则115
4.6　模型选择：交叉验证119
4.7　模型选择：信息准则123
第5章　聚类和分类127
5.1　特征选择和数据挖掘127
5.2　监督学习和无监督学习132
5.3　无监督学习：k均值聚类135
5.4　无监督层次聚类：树状图139
5.5　混合模型和期望化算法142
5.6　监督学习和线性判别145
5.7　支持向量机149
5.8　分类树和随机森林153
5.9　2008年数据挖掘十大算法158
第6章　神经网络和深度学习161
6.1　神经网络：单层网络162
6.2　多层网络和激活函数165
6.3　反向传播算法170
6.4　随机梯度下降算法172
6.5　深度卷积神经网络175
6.6　神经网络动力系统178
6.7　神经网络多样性182
第三部分　动力学与控制
第7章　数据驱动动力系统189
7.1　概述、动机和挑战190
7.2　动态模态分解194
7.3　非线性动力学的稀疏辨识203
7.4　Koopman算子理论212
7.5　数据驱动的Koopman分析220
第8章　线性控制理论229
8.1　闭环反馈控制230
8.2　线性时不变系统233
8.3　能控性与能观性238
8.4　全状态控制：线性二次型调节器243
8.5　全状态估计：Kalman滤波器246
8.6　基于传感器的控制：线性二次型高斯249
8.7　案例研究：小车上的倒立摆250
8.8　鲁棒控制和频域技术257
第9章　平衡模型控制267
9.1　模型约简与系统辨识267
9.2　平衡模型约简268
9.3　系统辨识279
第10章　数据驱动控制288
10.1　非线性系统辨识的控制289
10.2　机器学习控制294
10.3　自适应极值搜索控制302
第四部分　降阶模型
第11章　POD技术311
11.1　偏微分方程的POD311
11.2　基元：POD展开316
11.3　POD和孤立子动力学320
11.4　POD的连续公式324
11.5　对称性的POD：旋转和平移328
第12章　参数降阶模型的插值335
12.1　缺失POD335
12.2　缺失POD的误差和收敛性340
12.3　缺失测量：小化条件数343
12.4　缺失测量：化方差348
12.5　POD和离散经验插值方法351
12.6　DEIM算法实现354
12.7　机器学习的ROM357
术语362
参考文献367
索引395

本书讲述的是数据驱动方法、应用优化以及工程数学和数学物理等经典领域之间日益发展的交叉内容。多年来，我们一直在整理这方面的材料，用于教授工程和物理科学系的高年级本科生和低年级研究生。通常，这类学生都具有线性代数、微分方程和科学计算的数学基础，工科学生则大多接触过控制理论和偏微分方程。然而，工程和科学领域的大多数本科课程很少涉及数据方法或优化方法。同样，计算机科学和统计学方向的课程很少涉及动力系统和控制方面的内容。本书的目的就是为这类学生提供广泛的应用数据科学入门知识。本书所讨论的方法主要考虑了上述学科的关联性、简洁性和通用性，并尝试提供一系列包括基本知识介绍和前沿技术在内的专题。
数据驱动发现正在彻底改变我们对复杂系统建模、预测和控制的方式。当今时代为紧迫的科学和工程问题并不适合用基于性原理的经验模型或推导来解决。研究人员正逐渐转向将数据驱动方法用于研究各种复杂系统，如湍流、大脑、气候、流行病学、金融、机器人和自主体。这些系统通常是非线性的、动态的、时空多尺度的、高维的，并由可被刻画和建模的主导基本模式来实现传感、预测、估计和控制的终目标。借助现代数学方法以及前所未有的大量数据和计算资源，我们现在能够处理以前无法解决的难题。这些新技术包括：适用于稀疏和噪声下的随机像素测量的鲁棒图像重构、基于机器学习的湍流控制、传感器和执行器布置、纯粹从数据中发现可解释的非线性动力系统、用于加速具有复杂多尺度物理特性的系统的研究和优化的降阶模型等。
推动现代数据科学发展的是海量且不断增长的数据的可获取性，这得益于低成本传感器的显著创新、计算能力数量级的提高，以及几乎无限的数据存储和传输能力。如此大量的数据为各个学科的工程师和科学家提供了进行数据驱动发现的新机会，这被称为科学发现的第四范式[245]。第四范式是前三种范式（观察实验、解析推导和数值仿真）发展的自然结果。这些技术为数据驱动发现工作提供了一个变革性框架。这个科学发现的过程并不新鲜，而且确实模仿了科学革命的领军人物约翰尼斯·开普勒（Johannes Kepler，1571—1630）和艾萨克·牛顿爵士（Sir Isaac Newton，1642—1727）的工作。基于经验数据驱动和解析方法，他们每个人都在发展天体力学的理论基础方面发挥了关键作用。数据科学并没有取代数学物理和工程学，反而在21世纪进一步发展了它们，这与其说是一场革命，不如说是一场复兴。
数据科学本身并不新鲜，它于50多年前由约翰·图基（John Tukey）提出，他曾设想开展一项从数据或数据分析中学习的科研工作[152]。从那时起，数据科学在很大程度上被两种截然不同的数据文化观念所主导[78]：以计算机科学家为主形成的机器学习领域，通常以预测质量和可扩展的快速算法为研究中心；统计学习领域，通常以统计系为中心，侧重于可解释模型的推理。两种研究方式都取得了显著成功，并为数据科学方法提供了数学和计算基础。对于工程师和科学家来说，他们的目标是利用这些技术从观测数据中推断和计算模型（一般是非线性的），这些模型能够正确地识别潜在的动力学，并定性和定量地将其推广到相位、参数或应用空间的未测量部分。本书的目标是利用统计和机器学习来解决工程问题。
本书主题
本书中有许多重要的主题。首先，尽管测量和计算的精度得到了迅速提高，但许多复杂系统在数据中呈现主导低维模式。这种底层结构能够实现高效的感知以及获得用于建模和控制的紧凑表达形式。模式提取与第二个主题，即寻找简化系统的坐标变换有关。实际上，数学物理长期以来是以坐标变换（例如，谱分解、傅里叶变换、广义函数等）为中心的，尽管这些技术在很大程度上仅限于简单的理想化几何和线性动力学。衍生数据驱动转换的能力带来了新机遇，即可以将这些技术推广到具有更复杂几何和边界条件的研究问题上。我们采用了动力系统和控制的观点来贯穿全书，将数据驱动技术应用于对随时间演化的系统进行建模和控制。也许涉及多的主题是数据驱动应用优化，因为几乎每个讨论的主题都与优化有关（例如，寻找低维模式、传感器布置、机器学习优化、控制等）。更为根本的是，书中大多数数据被处理成数组来进行分析，这样，从20世纪60年代早期开始发展起来的数值线性代数工具，能够为本书中用到的矩阵分解和求解策略提供许多数学基础。
致谢
感谢许多优秀的学生、合作者和同事提供宝贵的反馈、建议和支持。我们要特别感谢 Proctor，他在本书的创作过程中发挥了重要作用，同时帮助确定了这本书的框架和组织结构。我们还受益于与Bing Brunton、Igor Mezi?、Bernd Noack、Sam Taira的广泛交流和深入探讨。如果没有这些与我们一同工作的优秀同事和合作者，这项工作也不可能完成，这些研究成果都将在本书中有所体现。
在本书的编写和相关课程教学中，我们收到了来自如下优秀学生（包括博士后）的很多反馈和中肯意见：Travis Askham、Michael Au-Yeung、Zhe Bai、Ido Bright、Kathleen Champion、Emily Clark、Charles Delahunt、Daniel Dylewski、Ben