深度学习：R语言实践指南

经验丰富的机器学习专家撰写，旨在通过对机器学习、深度学习、基本概念和基础理论的介绍及实际案例的讲解，帮助你了解相关技术的用途，并能有效地应用其解决实际问题。

 

本书内容主要涉及：深度学习的数学理论基础，包括重要的统计学和线性代数的相关基本概念和知识；深度学习的各种典型模型，例如传统的单层感知器模型、多层感知器模型，以及卷积神经网络、循环神经网络、受限玻耳兹曼机、深度信念网络等一些更为复杂的模型；构建深度学习模型的实验设计方法以及实验过程中的特征选择方法；应用R语言进行机器学习和深度学习实践的案例。

关 于 作 者

Taweh Beysolow Ⅱ机器学习科学家，现居美国，热衷于研究及应用机器学习方法解决实际问题。他本科毕业于圣约翰大学，获得经济学学士学位，后获得福特汉姆大学应用统计学硕士学位。他对一切与机器学习、数据科学、计量金融及经济学相关的内容都有着巨大的热情。

CONTENTS

目录

 

译者序

关于作者

关于技术审稿人

前言

第1章深度学习简介

1.1深度学习模型

1.1.1单层感知器模型

1.1.2多层感知器模型

1.1.3卷积神经网络

1.1.4循环神经网络

1.1.5受限玻耳兹曼机

1.1.6深度信念网络

1.2其他

1.2.1实验设计

1.2.2特征选择

1.2.3机器学习及深度学习应用

1.2.4深度学习的历史

1.3小结

第2章数学知识回顾

2.1统计学基本概念

2.1.1概率

2.1.2交与并

2.1.3贝叶斯定理

2.1.4随机变量

2.1.5方差

2.1.6标准差

2.1.7可决系数

2.1.8均方误差

2.2线性代数

2.2.1标量和向量

2.2.2向量的特性

2.2.3公理

2.2.4子空间

2.2.5矩阵

2.3小结

第3章优化及机器学习回顾

3.1无约束优化

3.1.1局部极小值

3.1.2全局极小值

3.1.3局部极小值的条件

3.2近邻算法

3.3机器学习方法：有监督学习

3.3.1机器学习的历史

3.3.2什么是算法

3.4回归模型

3.5选择合适的学习速率

3.5.1牛顿法

3.5.2LevenbergMarquardt启发式方法

3.6多重共线性

3.7评价回归模型

3.8分类

3.8.1逻辑回归

3.8.2受试者工作特征曲线

3.8.3混淆矩阵

3.8.4逻辑回归的局限性

3.8.5支持向量机

3.9机器学习方法：无监督学习

3.9.1K均值聚类

3.9.2K均值聚类的局限性

3.10期望算法

3.11决策树学习

3.12集成方法以及其他启发式算法

3.13贝叶斯学习

3.14强化学习

3.15小结

第4章单层及多层感知器模型

4.1单层感知器模型

4.1.1训练感知器模型

4.1.2WH算法

4.1.3单层感知器模型的局限性

4.1.4汇总统计结果

4.2多层感知器模型

4.2.1收敛得到全局解

4.2.2MLP模型中的反向传播算法

4.2.3MLP模型的局限性和讨论

4.2.4应该使用几层隐含层，又应该有多少个神经元

4.3小结

第5章卷积神经网络

5.1CNN的结构和特点

5.2CNN的组成

5.2.1卷积层

5.2.2池化层

5.2.3修正线性单元层

5.2.4全连接层

5.2.5损失层

5.3参数调整

5.4经典的CNN架构

5.5正则化

5.6小结

第6章循环神经网络

6.1完全循环网络

6.2使用时间反向传播训练RNN

6.3Elman神经网络

6.4神经历史压缩器

6.5长短期记忆网络

6.6RNN里的结构化抑制

6.7参数调优更新算法

6.8RNN的实际案例：模式检测

6.9小结

第7章自编码器、受限玻耳兹曼机及深度信念网络

7.1自编码器

7.2受限玻耳兹曼机

7.3深度信念网络

7.4快速学习算法

7.5小结

第8章实验设计与启发

8.1方差分析

8.2F统计和F分布

8.3PlackettBurman设计

8.4空间填充

8.5全因子

8.6Halton、Faure和Sobol序列

8.7A/B测试

8.7.1简单双样本A/B测试

8.7.2A/B测试中的β二项层次模型

8.8特征、变量选择技术

8.8.1后向与前向选择

8.8.2主成分分析

8.8.3因子分析

8.9处理分类数据

8.9.1因子水平编码

8.9.2分类标签问题：太多水平值

8.9.3典型相关分析

8.10包裹式、过滤式及嵌入式算法

8.11其他局部搜索算法

8.11.1登山算法

8.11.2遗传算法

8.11.3模拟退火

8.11.4蚁群优化算法

8.11.5变邻域搜索算法

8.12反应式搜索优化

8.12.1反应式禁忌

8.12.2固定禁忌搜索

8.12.3反应式禁忌搜索

8.12.4WalkSAT算法

8.12.5K近邻

8.13小结

第9章软硬件建议

9.1使用标准硬件处理数据

9.2固态硬盘和硬盘驱动器

9.3图形处理单元

9.4中央处理器

9.5随机存取存储器

9.6主板

9.7供电设备

9.8机器学习软件的优化

9.9小结

第10章机器学习实例

10.1问题1：资产价格预测

10.1.1问题类型：有监督学习——回归

10.1.2实验说明

10.1.3特征选择

10.1.4模型评价

10.2问题2：速配

10.2.1问题类型：分类

10.2.2数据预处理：数据清洗和填充

10.2.3特征选择

10.2.4模型训练和评价

10.3小结

第11章深度学习及其他实例

11.1自编码器

11.2卷积神经网络

11.2.1预处理

11.2.2模型构建和训练

11.3协同过滤

11.4小结

结束语

本书假设读者已经掌握了统计学或计算机编程（特别是R语言）的基本知识。如果读者不具备这些基础，则有可能在代码实现部分遇到困难，这时建议回头重新学习以上提到的基础知识。

致谢

感谢我的家人。感谢我的祖母，我从她那里获益良多。也感谢本书的编辑和其他在完成这本书的过程中给予我支持的专家。感谢我的老师，感谢他们给予我源源不断的激励，使我一直保持着对研究的好奇心。感谢我的朋友，不论旧识、新交，他们让我的生活更有价值，也让我拥有了许多难忘的人生回忆。感谢我已故的朋友Michael Giangrasso，我曾希望和他一起踏上深度学习的研究之旅。后，感谢我已故的导师和朋友Lawrence Sobol，永远感激他的指引，在我生命的每一天，都将铭记他的教诲。

2013年，《MIT Technology Review》杂志将深度学习列为年度十大突破性技术之首。作为当下热门的科技领域之一，深度学习在诸如无人驾驶、社交平台上的图像识别、智能翻译等领域相继取得了突破性的进展，无论是在工业界还是在学术界均引起了广泛关注，并源源不断地涌现出了许多丰富而有益的创造。但不可否认的是，由于对该领域知识的匮乏，即使是专家也可能在特定情况下因使用一些比较差劲的工具而得到糟糕的结果，更不用说深度学习的初学者。因此，本书的初衷是通过对机器学习、深度学习基本概念和基础理论的介绍及实际案例的讲解，帮助读者了解相关技术的用途，并能有效地将它们应用于各自的工作中。

本书共11章，内容主要涉及：深度学习的数学理论基础，包括重要的统计学和线性代数的相关基本概念和知识；深度学习的各种典型模型，例如传统的单层感知器模型、多层感知器模型，以及卷积神经网络、循环神经网络、受限玻耳兹曼机、深度信念网络等一些更为复杂的模型；构建深度学习模型的实验设计方法以及实验过程中的特征选择方法；应用R语言进行机器学习和深度学习实践的案例，通过这些案例，读者可以增强学习机器学习和深度学习的信心，提高对实际问题的解决能力。

感谢翻译过程中华章公司张梦玲编辑的鼓励与督促，感谢家人和朋友们一如既往的支持和鼓励。

尽管此前译者已经翻译完成了两本R语言与机器学习领域的专业书籍，但由于深度学习技术是一个快速发展的方向，新的模型和应用层出不穷，使得本书的翻译工作比预期要艰难许多，兼之本人学识有限以及中英文语言表达、术语翻译上的习惯，书中难免存在错误，还请广大读者指正与原谅。