深度学习：基于稀疏和低秩模型

本书由近几年发表在各类顶 级期刊和国际会议/研讨会上的论文集结而成，囊括国内外深度学习研究者的成果。本书关注经典的稀疏/低秩模型与强调问题特定的先验性和可解释性的深度网络模型的集成，从而提高模型的学习能力和可解释性，同时更有效地利用大数据。书中展示了深度学习工具箱与稀疏/低秩模型和算法的紧密联系，并介绍了这些技术在维度约简、动作识别、风格识别、亲属关系理解、图像除雾以及生物医学图像分析等方面的成功应用。本书适合有一定基础的读者阅读，可扩展关于理论和分析工具的研究思路，并为深度模型的架构和解释提供有益的指导。

—作者简介—

王章阳（Zhangyang Wang） 得克萨斯农工大学（TAMU）计算机科学与工程系助理教授，致力于利用先进的特征学习和优化技术解决机器学习、计算机视觉和多媒体信号处理问题。他拥有伊利诺伊大学厄巴纳-香槟分校电子与计算机工程博士学位，师从黄煦涛教授。

傅云（Yun Fu）
美国东北大学工程学院和计算机与信息科学学院的跨学科教师，研究方向为机器学习、计算智能、大数据挖掘、计算机视觉、模式识别和信息物理融合系统。他是IAPR和SPIE会士，曾获得IEEE和IAPR等颁发的多项研究奖励。

黄煦涛（Thomas S. Huang） 伊利诺伊大学厄巴纳-香槟分校电子与计算机工程系教授，研究兴趣包括计算机视觉、图像压缩和增强、模式识别和多模态信号处理等。他是美国国家工程院院士、IAPR会士，曾获得包括IEEE Jack Kilby信号处理奖章、IAPR King-Sun Fu奖、国际计算机视觉会议Azriel Rosenfeld终身成就奖在内的众多奖项。他于2020年4月去世。

—译者简介—
黄智濒 博士，北京邮电大学计算机学院讲师。长期从事智能机器学习、超大规模并行计算、三维计算机视觉和深度学习架构方面的研究。

译者序
前言
主要作者简介
所有作者列表
第1章引言1
11深度学习基础1
12稀疏与低秩模型基础2
13连接深度学习与稀疏和低秩模型2
14本书章节结构3
15参考文献4
第2章双层稀疏编码：高光谱图像分类示例7
21引言7
22公式和算法9
221符号表示9
222联合特征的提取和分类9
223双层优化公式11
224算法12
23实验13
231对AVIRIS印第安纳松树数据的分类性能16
232对AVIRIS萨利纳斯数据的分类性能17
233对帕维亚大学数据的分类性能18
24结论19
25附录20
26参考文献21
第3章深度0编码器:模型展开示例23
31引言23
32相关工作24
321基于0和1的稀疏近似24
3221近似的网络实现24
33深度0编码器25
331深度0正则化编码器25
332深度M稀疏0编码器27
333理论属性28
34任务驱动的优化28
35实验28
351实现28
3520稀疏近似的仿真29
353在分类上的应用30
354在聚类上的应用31
36结论和关于理论属性的讨论33
37参考文献33
第4章单幅图像超分辨率：从稀疏编码到深度学习37
41通过具有稀疏先验的深度网络实现可靠的单幅图像超分辨率37
411引言37
412相关研究38
413基于稀疏编码网络的图像SR39
414用于可扩展SR的网络级联43
415真实场景下的鲁棒SR45
416实现细节47
417实验48
418主观评价55
419结论和未来工作57
42学习单幅图像超分辨率的混合深度网络58
421引言58
422所提出的方法59
423实现细节61
424实验结果61
425结论和未来工作65
43参考文献66
第5章从双层稀疏聚类到深度聚类69
51稀疏编码和可判别聚类的联合优化框架69
511引言69
512模型表示70
513面向聚类的成本函数71
514实验74
515结论79
516附录79
52学习用于聚类的任务特定的深度架构80
521引言80
522相关研究81
523模型表示81
524深入观察：DTAGnet的分层聚类84
525实验结果85
526结论92
53参考文献92
第6章信号处理95
61深度优化的压缩传感技术95
611背景95
612压缩传感的端到端优化模型96
613DOCS：前馈CS和联合优化CS97
614实验99
615结论102
62用于语音去噪的深度学习103
621引言103
622用于光谱去噪的神经网络103
623实验结果106
624结论和未来工作110
63参考文献111
第7章维度约简113
71带有局部限制的边缘化去噪字典学习113
711引言113
712相关研究114
713带有局部限制的边缘化去噪字典学习模型116
714实验124
715结论131
716未来工作131
72学习用于哈希的深度∞编码器131
721引言132
722ADMM算法133
723深度∞编码器134
724用于哈希的深度∞连体网络136
725图像哈希实验137
726结论142
73参考文献142
第8章动作识别145
81跨视角动作识别的深度学习的视角不变特征145
811引言145
812相关工作146
813深度学习的视角不变特征147
814实验152
82基于混合神经网络的深度摄像机动作识别157
821引言157
822相关工作158
823混合卷积递归神经网络159
824实验163
83结论166
84参考文献167
第9章风格识别和亲属关系理解171
91基于深度学习的风格分类171
911背景171
912栈式自编码器的预备知识174
913风格中心化自编码器174
914共识风格中心化自编码器177
915实验181
92可视化亲属关系理解185
921背景185
922相关工作186
923家族面部187
924正则化并行自编码器188
925实验结果192
93研究挑战和未来工作198
94参考文献198
第10章图像除雾：改进技术203
101引言203
102回顾和任务描述204
1021雾建模和除雾方法204
1022RESIDE数据集205
103任务1:除雾恢复205
104任务2:用于检测的除雾207
1041解决方案集1：增强级联中的除雾和检测模块207
1042解决方案集2：域自适应MaskRCNN208
105结论210
106参考文献211
第11章生物医学图像分析：自动肺癌诊断213
111引言213
112相关研究214
113方法论214
114实验217
115结论219
116致谢220
117参考文献220

深度学习在机器学习、数据分析和计算机视觉的各种应用中取得了巨大的成功。它易于并行化，推理复杂度较低，可以端到端联合调优。然而，通用的深度架构——通常被称为“黑盒”方法，在很大程度上忽略了问题特定的公式表示和领域知识。这些架构依赖于堆叠一些临时的模块，这使得解释其工作机制变得非常困难。尽管可凭借一些假设和直觉，但人们普遍认为很难理解深度模型为什么会起作用，以及它们如何与经典机器学习模型相关联。另一方面，稀疏性和低秩性是经典机器学习中很容易被利用的正则化。通过利用高维数据的潜在低维子空间结构，这种方法在许多图像处理和理解任务中取得了巨大成功。
本书概述了近期关于深度学习模型与稀疏模型和低秩模型集成的研究趋势。本书适合具备深度学习和稀疏/低秩模型基础知识的读者阅读，书中还特别强调概念和应用，希望能帮助更多的读者。本书涵盖的研究将经典的稀疏模型和低秩模型与深度网络模型进行衔接，其中，稀疏和低秩模型强调问题特定的先验性和可解释性，而深度网络模型具有更强的学习能力，同时能更好地利用大数据。你将会看到，深度学习工具箱与稀疏/低秩模型和算法紧密相关。这样的观点有望推动各类理论和分析工具的研究工作，引导深度模型的架构设计和解释。理论和建模的进展将与计算机视觉、机器学习、信号处理、数据挖掘等方面的诸多应用相辅相成。
致谢
感谢Elsevier团队的Ana Claudia A Garcia、Tim Pitts、Kamesh Ramajogi等在本书出版过程中对我们的悉心指导。感谢UIUC图像生成与处理（IFP）团队的学生及毕业生，与他们的学术合作及讨论令我们受益匪浅。还要感谢所有章节的作者对本书的辛勤付出。

编著者