深度学习与TensorFlow实战

本书对深度学习的解读更为基础、简洁、生动。市面上大多数同类书籍直接以Google提供的TensorFlow官方文档和官方教程为范本，只对其主要内容进行改编。然而上述文档主要面向熟练掌握深度学习的开发者，缺失了大量的基本知识（为了了解有些知识点，还需要阅读大量文献），这导致刚入门的读者难以理解其中晦涩的表述和大量的专业术语。本书以简单、生动、凝练的方式书写，同时还使用了大量的图片和例子做比喻，使学习成本降到* 低。
本书每个章节之后配有一个简单的代码实战例子。通过实例，读者可以得到及时的反馈，强化学习的效果。 

本书主要讲解深度学习和TensorFlow的实战知识，全书分为10章，主要内容如下：第1章为深度学习概述，包括深度学习的基础知识、深度学习的生产力实现—TensorFlow、数据模型、TensorFlow项目介绍、TensorFlow工作环境的安装与运行；第2章为机器学习概述，讲解机器学习的定义、任务、性能、经验、学习算法、线性回归实例和TensorFlow的完整运行脚本；第3章介绍从生物神经元到感知器的内容，讲解基于MCP神经元实现布尔逻辑、感知器、使用感知器做分类等；第4章介绍人工神经网络，讲述的内容包括从感知器到多层感知器、带有权值的MCP神经元—感知器、反向传播神经网络、使用人工神经网络分类mnist；第5章介绍Logistic回归与Softmax回归；第6章介绍卷积神经网络，讲述感知器模式识别、卷积操作、卷积神经网络的结构、使用TensorFlow实现卷积神经网络的实例；第7章介绍循环神经网络，包括循环神经网络的特征、有限状态机、从MCP神经网络到循环神经网络等；第8章介绍LSTM循环神经网络，包括梯度弥散现象、长短期记忆网络、通过TensorFlow实现一个简单的LSTM；第9章深入讨论TensorFlow，讲解机器学习框架、计算图、神经网络与计算图、TensorFlow中的数据流图、使用GPU、数据可视化工具TensorBoard等；第10章为TensorFlow案例实践，包括构建TensorFlow的图片分类系统、准备代码和训练集、构造模型计算图、训练模型、评估模型的性能、多GPU训练等。
本书旨在帮助具有较少数学基础并期望在深度学习上有所作为的学习者，希望为他们提供一个快速上手深度学习的实战教程。本书适合阅读的读者包括相关专业的本科生或研究生，以及不具有机器学习或统计知识背景但想要快速补充深度学习知识，以便在实际产品或平台中应用的软件工程师。

李建军，对深度学习和Tensorflow概念和工具都有着很深的理解和研究，开发了一系列的案例，并在教学实践加以应用。有着丰富的实战经验、以及应用Tensorflow和深度学习的项目背景。

前言　Ⅰ

第1章　深度学习概述　1

1.1　人类的人工智能之梦　1

1.2　从遥想到实践　3

1.3　三大人工智能学派　3

1.3.1　符号学派　3

1.3.2　行为学派　3

1.3.3　连接学派　4

1.4　连接学派中的神经网络　4

1.5　神经网络的“新称谓”—深度学习　7

1.6　深度学习的生产力实现—

TensorFlow　8

1.6.1　TensorFlow之Tensor　9

1.6.2　TensorFlow之Flow　10

1.6.3　TensorFlow之简单的

数据模型　11

1.7　TensorFlow项目介绍　13

1.8　TensorFlow工作环境的安装和运行　14

1.8.1　Ubuntu环境下基于Virtualenv的

安装方法　15

1.8.2　基于Mac OS的安装方法　16

1.8.3　简单运行一下TensorFlow　16

第2章　机器学习概述　18

2.1　什么是机器学习　18

2.1.1　机器学习的定义　18

2.1.2　任务　19

2.1.3　性能　20

2.1.4　经验　24

2.2　学习算法　24

2.2.1　表示　25

2.2.2　评价　25

2.2.3　优化　27

2.3　以线性回归为例　28

2.3.1　线性回归的任务T　28

2.3.2　线性回归的经验E　28

2.3.3　线性回归的表示R　30

2.3.4　线性回归的评价E　30

2.3.5　线性回归的优化O　31

2.3.6　小结　32

2.3.7　TensorFlow的完整运行脚本　33

2.4　本章小结　35

第3章　从生物神经元到感知器　36

3.1　感知器的前身　36

3.1.1　生物神经元　36

3.1.2　一个基础的神经元—

McCulloch-Pitts　Units　37

3.1.3　基于MCP神经元实现

布尔逻辑　37

3.1.4　带有权值的MCP神经元　39

3.1.5　通过带有权值的MCP神经元对

空间进行线性划分　40

3.2　感知器　41

3.2.1　感知器简介　41

3.2.2　感知器的激活函数　42

3.3　使用感知器分类　43

3.3.1　感知器的二分类　43

3.3.2　经验E—Iris鸢尾花数据集　44

3.3.3　感知器的表示R　45

3.3.4　感知器的评价E　45

3.3.5　感知器的优化O　46

3.3.6　实践感知器　47

3.4　本章小结　49

第4章　人工神经网络　50

4.1　从感知器到多层感知器　50

4.1.1　再次回到MCP神经元　50

4.1.2　带有权值的MCP神经元—

感知器　57

4.1.3　两层感知器形成“凸域”问题　61

4.1.4　非凸域优化　64

4.2　反向传播神经网络　65

4.2.1　一个生动的比喻　65

4.2.2　计算图基础—前向传播　66

4.2.3　计算图—带有参数w、b的

前向传播　68

4.2.4　计算图—带有参数w、b的

反向传播　69

4.3　使用人工神经网络对mnist数据进行

分类　71

4.4　本章小结　73

第5章　Logistic回归与Softmax回归　74

5.1　信息论　74

5.1.1　编码　74

5.1.2　编码效率　74

5.1.3　编码代价　75

5.1.4　编码　77

5.1.5　信息量和熵　78

5.1.6　交叉熵　80

5.2　Logistic回归　81

5.2.1　线性回归回顾　81

5.2.2　Logistic回归回顾　84

5.2.3　Logistic人工神经网络稀疏化

表征　87

5.2.4　sigmoid激活函数与信息熵　90

5.2.5　熵模型　91

5.3　Softmax回归　96

5.3.1　从Logistic回归到Softmax

回归　96

5.3.2　Softmax回归的参数冗余　96

5.3.3　Softmax回归与Logistic回归的

关系　97

5.3.4　Softmax回归与k个二元

分类器　98

5.4　本章小结　98

第6章　卷积神经网络　99

6.1　感知器模式识别　99

6.1.1　通过感知器识别一幅简单的

图像　99

6.1.2　感知器的鲁棒性　101

6.1.3　生物视神经与感受野　103

6.1.4　Minsky感知器与

局部感受野　105

6.1.5　从鲁宾杯角度理解

局部感受野　108

6.1.6　单个感知器模式识别的

局限性　110

6.1.7　多层感知器的模式识别　112

6.2　卷积操作　116

6.2.1　卷积的数学定义　116

6.2.2　局部感受野与卷积　116

6.2.3　卷积操作的用途　118

6.3　卷积神经网络的结构　119

6.3.1　卷积操作中局部感受野的

跨度　120

6.3.2　白边　122

6.3.3　池化操作　123

6.3.4　卷积神经网络的层级结构　124

6.3.5　通过卷积神经网络处理彩色

图像的模型　126

6.4　使用TensorFlow实现卷积神经网络的

小例子　129

6.5　本章小结　131

第7章　循环神经网络　132

7.1　循环神经网络：一种循环的人工

神经网络　132

7.1.1　回到黑箱模型　132

7.1.2　时间序列性　134

7.2　有限状态机　135

7.2.1　有限状态机的布尔逻辑　135

7.2.2　有限状态机的结构　136

7.3　从MCP神经网络到循环神经网络　138

7.3.1　MCP神经网络与有限

状态机的等效性　138

7.3.2　前馈神经网络与MCP

神经网络的等效性　140

7.3.3　循环神经网络与前馈

神经网络的等效性　142

7.3.4　循环神经网络的描述　145

7.3.5　循环神经网络的参数学习—

BPTT　147

7.4　本章小结　151

第8章　LSTM循环神经网络　152

8.1　梯度弥散现象　152

8.1.1　梯度弥散的缘由　152

8.1.2　梯度弥散带来的“健忘”　155

8.2　长短期记忆网络　157

8.2.1　LSTM的结构　157

8.2.2　LSTM单元如何缓解

梯度弥散　161

8.3　通过TensorFlow实现一个

简单的LSTM　162

8.4　本章小结　165

第9章　深入TensorFlow　166

9.1　机器学习框架回顾　166

9.2　计算图　167

9.2.1　计算图的前馈计算　167

9.2.2　计算图的反馈计算　168

9.3　神经网络与计算图　170

9.3.1　神经网络与计算图的转换　170

9.3.2　神经网络计算图的前馈计算与

反馈计算　172

9.4　TensorFlow中的数据流图　176

9.4.1　张量　176

9.4.2　操作　177

9.4.3　变量和占位符　178

9.4.4　三段式编程　179

9.4.5　会话　180

9.5　使用GPU　183

9.5.1　单机CPU+GPU　183

9.5.2　单机CPU+多GPU　184

9.5.3　分布式计算　185

9.6　数据可视化工具TensorBoard　188

9.6.1　生成静态计算图　188

9.6.2　统计动态数据流　190

9.6.3　使用TensorBoard实现训练

可视化　190

9.7　本章小结　193

第10章　TensorFlow案例实践　194

10.1　构建TensorFlow的图片分类系统　194

10.2　准备代码和训练集　195

10.3　构造模型计算图　199

10.4　训练模型　207

10.5　评估模型的性能　210

10.6　多GPU训练　213

10.7　本章小结　218