稀疏建模理论、算法及其应用

本书特色 ● 介绍了稀疏建模与信号复原中的一些关键概念与主要结果； ● 涵盖了稀疏建模的基本理论、*的算法与方法，以及实际应用； ● 描述了流行的强化稀疏方法，如l0与l1范数*小化； ● 研究了稀疏建模领域中若干快速发展的子领域，如稀疏高斯马尔可夫随机场、结构性稀疏、字典学习与稀疏矩阵分解。 

内容简介：稀疏建模与现代统计学、信号处理、机器学习联系密切，可以实现从相对较少的观测数据精确复原待估信号，广泛应用于图像重构、数据的参数学习模型、故障诊断、模式识别与雷达信号处理等领域。本书详细讨论了稀疏建模的相关内容，包括对稀疏解产生的问题描述、寻找稀疏解的求解算法、稀疏复原的理论成果以及应用实例等。封底文字：稀疏模型在一些科学应用领域（如基因或神经成像数据中的生物标记发现）特别有用，预测模型的可解译性是其*根本的特点。稀疏性可以极大地提高信号处理的成本效益。《稀疏建模理论、算法及其应用》一书提供了对稀疏建模领域的介绍，包括应用实例、产生稀疏解的问题描述、用于寻找稀疏解的算法以及稀疏复原领域中*近的理论成果。该书将带读者了解稀疏建模有关的*进展，增加对该领域的理解，激发在该领域深入学习的兴趣。在本书中，作者首先提出引导性示例，并对稀疏建模领域的关键*进展进行较高层次的探索。然后，该书描述了常用的强化稀疏的工具中涉及的优化问题，给出了本质性的理论结果，并讨论了若干寻找稀疏解的*算法。作者接下来研究了稀疏复原问题，将基本形式扩展到更复杂的结构性稀疏问题与不同的损失函数。该过程也检验了一类特定的稀疏图形模型，并涵盖了字典学习与稀疏矩阵分解内容。本书特色● 介绍了稀疏建模与信号复原中的一些关键概念与主要结果；● 涵盖了稀疏建模的基本理论、*的算法与方法，以及实际应用；● 描述了流行的强化稀疏方法，如l0与l1范数*小化；● 研究了稀疏建模领域中若干快速发展的子领域，如稀疏高斯马尔可夫*场、结构性稀疏、字典学习与稀疏矩阵分解。

Irina Rish：目前是IBM T.J. Watson研究中心的研究人员，她在俄罗斯的Moscow Gubkin Institute获得应用数学硕士学位，并在加利福尼亚大学Irvine分校获得计算机科学博士学位。主要研究领域包括概率推理、机器学习和信息理论。Genady Grabarnik：现为美国圣约翰大学数学与计算机科学学院助理教授，在美国科学院获得博士学位。
栾悉道，长沙学院副教授，毕业于国防科学技术大学，获工学博士学位，主要研究领域为：多媒体信息系统、图像处理。王卫威，毕业于国防科学技术大学，获工学博士学位，主要研究领域为：信号稀疏表示，压缩感知与图像处理。谢毓湘：国防科学技术大学副教授，毕业于国防科学技术大学，获工学博士学位，主要研究领域为：多媒体信息系统、图像处理。魏迎梅：国防科学技术大学教授，毕业于国防科学技术大学，获工学博士学位，主要研究领域为：虚拟现实、大数据分析与处理。

第1章 导论
1.1 引导性示例
1.1.1 计算机网络诊断
1.1.2 神经影像分析
1.1.3 压缩感知
1.2 稀疏复原简介
1.3 统计学习与压缩感知
1.4 总结与参考书目
第2章 稀疏复原：问题描述
2.1 不含噪稀疏复原
2.2 近似
2.3 凸性： 简要回顾
2.4 问题（P0）的松弛
2.5 lq-正则函数对解的稀疏性的影响
2.6 l1范数小化与线性规划的等价性
2.7 含噪稀疏复原
2.8 稀疏复原问题的统计学视角
2.9 扩展LASSO：其他损失函数与正则函数
2.10 总结与参考书目
第3章 理论结果（确定性部分）
3.1 采样定理
3.2 令人惊讶的实验结果
3.3 从不完全频率信息中进行信号复原
3.4 互相关
3.5 Spark与问题（P0）解的性
3.6 零空间性质与问题（P1）解的性
3.7 有限等距性质
3.8 坏情况下精确复原问题的平方根瓶颈
3.9 基于RIP的精确重构
3.10 总结与参考书目第4章理论结果（概率部分）
4.1 RIP何时成立？
4.2 Johnson-Lindenstrauss引理与亚高斯随机矩阵的RIP
4.2.1 Johnson-Lindenstrauss集中不等式的证明
4.2.2 具有亚高斯随机元素的矩阵的RIP
4.3 满足RIP的随机矩阵
4.3.1 特征值与RIP
4.3.2 随机向量，等距随机向量
4.4 具有独立有界行的矩阵与具有傅里叶变换随机行的矩阵的RIP
4.4.1 URI的证明
4.4.2 一致大数定律的尾界
4.5 总结与参考书目
第5章 稀疏复原问题的算法
5.1 一元阈值是正交设计的方法
5.1.1 l0范数小化
5.1.2 l1范数小化
5.2 求解l0范数小化的算法
5.2.1 贪婪方法综述
5.3 用于l1范数小化的算法
5.3.1 用于求解LASSO的小角回归方法
5.3.2 坐标下降法
5.3.3 近端方法
5.4 总结与参考书目
第6章 扩展LASSO：结构稀疏性
6.1 弹性网
6.1.1 实际中的弹性网：神经成像应用
6.2 融合LASSO
6.3 分组LASSO：l1/l2罚函数
6.4 同步LASSO：l1/l∞罚函数
6.5 一般化
6.5.1 块l1/lq范数及其扩展
6.5.2 重叠分组
6.6 应用
6.6.1 时间因果关系建模
6.6.2 广义加性模型
6.6.3 多核学习
6.6.4 多任务学习
6.7 总结与参考书目
第7章 扩展LASSO：其他损失函数
7.1 含噪观测情况下的稀疏复原
7.2 指数族、 GLM与Bregman散度
7.2.1 指数族
7.2.2 广义线性模型
7.2.3 Bregman散度
7.3 具有GLM回归的稀疏复原
7.4 总结与参考书目
第8章 稀疏图模型
8.1 背景
8.2 马尔可夫网络
8.2.1 马尔可夫性质：更为仔细的观察
8.2.2 高斯MRF
8.3 马尔可夫网络中的学习与推断
8.3.1 学习
8.3.2 推断
8.3.3 例子：神经影像应用
8.4 学习稀疏高斯MRF
8.4.1 稀疏逆协方差选择问题
8.4.2 优化方法
8.4.3 选择正则化参数
8.5 总结与参考书目
第9章 稀疏矩阵分解：字典学习与扩展
9.1 字典学习
9.1.1 问题描述
9.1.2 字典学习算法
9.2 稀疏PCA
9.2.1 背景
9.2.2 稀疏PCA：合成视角
9.2.3 稀疏PCA：分析视角
9.3 用于盲源分离的稀疏NMF
9.4 总结与参考书目
后记
附录A 数学背景
参考文献

本书在翻译过程中，所有译者一直坚持忠于原书，以谨慎细致的态度开展工作，但是其中难免存在疏漏，恳请广大读者批评指正。前言如果托勒密、阿加莎?克里斯蒂与奥卡姆的威廉聚在一起，他们很可能认同一个共同的思想。托勒密会说，“我们认为用简单的假设对现象进行解释是一种很好的准则”。阿加莎可能会补充，“简单的解释总是适合的”。奥卡姆的威廉将可能点头同意，“如无必要，勿增实体”。该节省性原则，就是今天有名的奥卡姆剃刀原理，是渗透于从古至今所有哲学、艺术与科学领域的一个基础性思想。“至繁归于至简”（莱昂纳多?达?芬奇）。“尽量把所有事情变得简单，以致不能更简单”（阿尔伯特?爱因斯坦）。在人类历史上，先哲支持“简单性”的名言可以无休无尽，很容易写满许多页纸。但是，我们希望保持该序言简短。该书的主题——稀疏建模，是节省性原则在现代统计学、机器学习与信号处理领域的特殊体现。在这些领域，一个基础性的问题就是由于观测成本或其他限制，需要从数量相对较少的观测中对未观测高维信号进行精确复原。图像重构、从数据中学习模型参数、系统故障或人类疾病诊断，是逆问题出现后要解决的一些例子。一般地，高维、小样本推断问题是欠定的，且在计算上是难于处理的，除非该问题具有某一特定的结构，如稀疏性。事实上，当仅有少量变量为真正重要的变量时，真实解可以很好地由稀疏向量来近似，将剩余变量设置为零或接近零。换言之，少量相关的变量（起因、预测因子等）通常对于解释感兴趣的现象来说是充分的。更一般地，即使原始问题并没有产生稀疏解，我们也可以找到一个到新坐标系统的映射或字典，从而实现稀疏表示。因此，稀疏结构看上去是很多自然信号固有的性质——没有该结构，认知并适应这个世界是相当具有挑战性的。本书提供对稀疏建模简要的介绍，包括应用实例、导致稀疏解的问题描述、寻找稀疏解的算法，以及一些关于稀疏复原的理论成果。该书的内容基于我们几年前在国际机器学习大会（ICML2010）上的辅导性讲座，以及2011年春季学期在哥伦比亚大学教授的研究生课程。第1章从引导性示例开始，对稀疏建模关键的进展进行了概述。第2章对优化问题进行了描述，该优化问题涉及常用于强化稀疏的工具，如l0与l1范数约束。必要的理论结果在第3章与第4章中进行介绍，第5章讨论了若干用于寻找稀疏解的著名算法。然后，在第6章与第7章讨论了大量的稀疏复原问题，分别将基本的问题形式扩展到更为复杂的结构性稀疏形式与不同的损失函数。第8章介绍了特殊的稀疏图模型，如稀疏高斯马尔可夫随机场，该模型是稀疏建模中热门且快速发展的子领域。后，第9章研究了字典学习与稀疏矩阵分解。注意，本书并不能对所有与稀疏有关的进展进行全部研究。事实上，仅仅一本书不可能对这个快速发展的领域全面涉猎。然而，我们希望本书能够作为稀疏建模的入门书籍，激励读者继续学习本书之外的内容。后，我们想感谢以不同方式对本书作出贡献的人。Irina感谢IBM沃特森研究中心的同事Chid Apte、Guillermo Cecchi、James Kozloski、Laxmi Parida、Charles Peck、Ravi Rao、Jeremy Rice与Ajay Royyuru，感谢他们这些年来给予的鼓励与支持。同时，其他同事与朋友的想法也有助于本书的成稿，包括Narges Bani Asadi、Alina Beygelzimer、Melissa Carroll、Gaurav Chandalia、Jean Honorio、Natalia Odintsova、Dimitris Samaras、Katya Scheinberg与Ben Taskar。Ben于去年去世，但他仍然活在我们的记忆与他优秀的工作中。感谢Dmitry Malioutov、Aurelie Lozano与Francisco Pereira，他们阅读了手稿，并提出了很多有价值的建议，对本书改进帮助很大。还要特别感谢本书的编辑Randi Cohen，他使我们一直保持积极性并耐心地等待本书完稿。后，感谢我们的家人，是他们的爱、支持与耐心成为我们灵感的无限源泉。我们不得不承认该书花费了比预期长的时间（多了几年）。因此，Irina（很高兴地）输掉了与她女儿Natalie关于谁先出版一本书的赌约。