基于学习的自适应控制:理论及应用

本文围绕基于学习的自适应控制。首先，重点介绍一些重要的数学工具；然后重点阐述本书的重点内容：基于模型的或经典的自适应控制、无模型自适应控制和自适应控制的学习；第三章着重基于极值搜索的迭代反馈增益，给出机电一体化的应用实例；第4章介绍多参数的极值搜索控制算法自动调整反馈增益，给出强大的非线性控制器加模型学习算法；第5章是基于极值搜索的间接自适应控制，给出两个不同的MES算法，*后两章重点介绍极值搜索为基础的非线性系统参数辨识算法和求极值的迭代学习模型预测控制。

译者序
前言
致谢
第1章基础数学工具
11范数的定义和性质
12向量函数及其性质
13动态系统的稳定性
14控制中的动态系统仿射
15几何、拓扑和不变集性质
16总结
参考文献
第2章自适应控制概述
21引言
22自适应控制问题描述
23基于模型的自适应控制
231基于模型的直接自适应控制
232基于模型的间接自适应控制
24无模型自适应控制
25基于学习的自适应控制
26总结
参考文献
第3章基于极值搜索的迭代反馈增益整定理论
31引言
32基本符号和定义
33问题描述
331系统类型
332控制目标
34输入输出线性化控制的极值搜索式迭代增益整定
341第一步：鲁棒控制设计
342第二步：反馈增益的迭代自动调整
35机电一体化示例
351电磁执行器
352双连杆刚性机械臂
36总结与展望
参考文献
第4章基于极值搜索的间接自适应控制
41引言
42基本符号和定义
43具有常值模型不确定性的一般非线性系统的ES间接自适应控制
44具有时变模型不确定性的一般非线性系统的ES间接自适应控制
45关于控制量仿射的非线性模型情形
451控制目标
452自适应控制器设计
46机电一体化示例
461电磁执行器
462双连杆刚性机械臂
463基于MES的不确定参数估计
47总结与展望
参考文献
第5章基于极值搜索的非线性系统实时参数辨识
51引言
52基本符号和定义
53非线性系统的基于ES的开环参数辨识
531问题描述
532开环参数估计
54非线性系统的基于ES的闭环参数辨识
541问题描述
542非线性系统仿射控制的参数估计
55基于ES的辨识和稳定PDE模型简化
551基于ES的ROM参数辨识
552基于MES的PDE稳定模型简化
56应用示例
561电磁执行器
562双连杆刚性机械臂
563耦合Burger PDE
57总结与展望
参考文献
第6章基于极值搜索的迭代学习模型预测控制
61引言
62基本符号和定义
63问题描述
631鲁棒正不变集
632紧缩约束
633跟踪不变集
634MPC问题
64基于DIRECT ES的迭代学习MPC
641基于DIRECT的迭代学习MPC
642MPC的ISS保证和学习收敛的证明
65基于抖振的MES自适应MPC
651约束线性标称MPC
652基于MES的自适应MPC算法
653稳定性讨论
66数值示例
661基于DIRECT的ILC MPC
662基于抖振的ESILCMPC
67总结与展望
参考文献
结论和进一步说明
参考文献

1914年，巴黎：人人都说那是阳光灿烂、令人愉悦的一天，蓝色的天空恰好成为表演的完美背景。大量的人流聚集在城市的西北边缘——阿让特伊桥附近的塞纳河沿岸，以目睹展示飞行安全最新发展的航空竞赛——de la Sécurité en Aéroplane。 近六十架飞机参加，并展示了令人印象深刻的各类技术和设备。日程的最后，展示的是Curtiss C2双翼飞机，驾驶它的是美国飞行员劳伦斯·斯佩里(Lawrence Sperry)。在C2的敞式座舱内，他旁边坐着的是法国机械师埃米尔·卡钦 (Emil Cachin)。当斯佩里飞过岸边观众并朝向裁判坐席时，他松开飞机的操纵器并且举起双手。人群爆发出了欢呼声：飞机正在自己飞行！
Carr(2014,第3章)
这是一百年前首次展示的自适应和控制技术的硬件实现。从那以后，自适应控制成为控制理论的主要分支之一。尽管这个问题已得到充分研究， 但是仍然存在着活跃的研究前沿（见第2章）。本书关注一种特定类型的自适应控制，称为基于学习的自适应控制。
在第2章中，我们将看到自适应控制可以被划分为三个子类：经典的基于模型的自适应控制，它主要利用被控系统的物理模型；无模型自适应控制，它完全基于控制器和系统间的交互；基于学习的自适应控制，它同时采用基于模型和无模型技术来设计灵活但迅速稳定（即安全）的自适应控制器。本书所介绍的基于学习的模块化自适应控制的基本思想如图A所示。可以看到图中有两个主要的模块：基于模型的和无模型的。 基于模型的部分主要是为了确保在学习过程中的某类稳定性，而无模型（即学习）部分主要是通过在线调整某些基于模型的控制器的参数值来改善控制器性能。 由于是模块化设计，这两个模块可以安全地连接在一起，即不会损害整个系统的稳定性（在有界意义下）。
图A基于学习的模块化自适应控制框图
我们将证明，这类自适应控制器与其他自适应方法相比的一个最大优势是：既能保证系统的稳定性，又具有无模型学习算法的灵活性。一方面，基于模型的自适应控制器可以非常有效且稳定，然而它强加给模型及不确定性结构（例如：线性与非线性结构等）许多约束。另一方面，由于无模型自适应控制器并不依赖于任何模型，所以模型的结构可以具有很大的灵活性。然而，它缺少基于模型的自适应控制器所具备的稳定性保障。此外，由于没有任何关于系统的物理知识，即不使用系统的任何模型，无模型自适应算法不得不在一个很大的控制选择范围内去学习最优控制行为（或策略）。而基于学习的自适应控制对两者进行了平衡，它不仅具有基于模型部分所保障的稳定性，还能够比无模型自适应控制更快地收敛到最优性能。这是由于，尽管存在不确定性或者不完备性，但它采用了系统的某些初始知识和模型信息。
为了便于阅读，第1章回顾控制理论的主要概念和工具，其中包括向量空间、希尔伯特空间、不变集等经典概念，以及李雅普诺夫、拉格朗日稳定性和输入状态稳定性（InputtoState Stability,ISS）等。最后，我们给出了无源性和非最小相位的一些重要概念。
第2章给出关于自适应控制领域的总体综述。一些主要的相关结果将被分门别类地划分到自适应控制理论的一些子领域中。本章的主要目的是将本书中的成果在自适应控制的全局框架中进行定位，使得读者能够更好地理解这些成果，并明晰与其他成果的区别。
接下来的章节更多的是我们过去几年关于基于学习的自适应方面的成果，因此技术性会更强。
从第3章开始，我们关注基于学习的自适应中的一类非常具体的问题，称为迭代反馈整定（Iterative Feedback Tuning,IFT）。IFT 的主要目的是为线性或非线性反馈控制器自动地调整反馈增益。首先给出一些IFT研究成果的简要概述，然后介绍我们在此领域的工作。具体来说，我们将研究基于极值搜索的非线性IFT。本书主要关注非线性系统（除了第6章外），因为非线性结果通过一些简化可以轻松地应用于线性模型。不过我们并不准备明确推导这些简化方法，而是把这部分工作留给感兴趣的读者。
第4章给出非线性模型基于极值搜索的模块化自适应控制的一般形式。本章首先考虑系统模型或不确定性没有任何结构化约束（除了基本的光滑性条件）的一般非线性模型的情况。对于这一类相当广泛的模型，在输入状态可稳定（通过反馈）的假设下，我们可以设计基于学习的模块化间接自适应控制器，其中的无模型学习算法用来在线估计模型的参数不确定性。接着我们关注一类更具体的非线性系统，称为关于控制向量仿射的非线性系统。对于这样的非线性系统，我们给出了一个构建性控制设计，该设计能够保证ISS性质，然后为其补充一个极值搜索无模型学习算法来估计模型参数。
在第5章中，我们将学习非线性模型的实时辨识问题。我们所说的实时是指在系统执行标称任务时，不需要打断或者改变系统任务就能够在线辨识系统的某些参数。事实上，在实际工业生产中中断一个系统任务可能会带来巨大的经济损失。如果能够在线辨识并持续更新系统参数，那么就能够实时跟踪其漂移，比如由于系统老化或者标称任务的实时改变（根据不同质量移动机械臂的不同部位）而导致的，然后更新相应模型。
针对有限维常微分方程模型和无穷维偏微