神经网络与深度学习——基于TensorFlow框架和Python技术实现

Python、TensorFlow、神经网络和深度学习因人工智能的流行而成为当下IT领域的热门关键词。本书首先介绍了Python及其常用库Numpy、Matplotlib和Scipy的基本使用方法；其次介绍了TensorFlow的基本知识及使用方法；然后介绍了神经网络的基础知识以及神经网络基本应用——感知机、线性回归与逻辑回归的理论与实现；*后介绍了两种热门的深度神经网络——卷积神经网络和循环神经网络的理论与实现。本书内容由浅入深，循序渐进，实践性强，包含丰富的仿真实例。

包子阳：高级工程师，自2009年起工作于北京无线电测量研究所。2009年6月毕业于电子科技大学信号与信息处理专业，获硕士学位。从事雷达电气总体、智能算法和深度学习等研究工作。迄今出版专著3本；申请发明专利6项（已授权3项）；在国际雷达会议、《系统工程与电子技术》、《现代雷达》、《电子技术与应用》、《雷达科学与技术》、《空间电子技术》、雷达年会、天线年会等发表学术论文十余篇。

目 录
　　
第1章 绪论 1
1.1 人工智能 2
1.2 机器学习 3
1.2.1 监督学习 3
1.2.2 非监督学习 3
1.2.3 半监督学习 4
1.3 深度学习 4
1.3.1 卷积神经网络 4
1.3.2 循环神经网络 5
1.4 实现工具 6
1.4.1 Python 6
1.4.2 TensorFlow 6
第2章 Python基础 9
2.1 Python简介 10
2.1.1 概述 10
2.1.2 Python的特点 10
2.1.3 Python的版本 11
2.2 Python的安装 11
2.2.1 Python官网下载安装 11
2.2.2 Anaconda的安装 14
2.3 Spyder编辑器 16
2.3.1 Spyder界面 16
2.3.2 Spyder快捷键 19
2.4 Python基础知识 19
2.4.1 基本语法 20
2.4.2 基本数据类型和运算 23
2.4.3 列表、元组和字符串 25
2.4.4 字典和集合 32
2.4.5 分支和循环 35
2.4.6 函数和类 37
2.4.7 模块 40
第3章 Python基础库 43
3.1 Numpy库 44
3.1.1 创建数组 44
3.1.2 ndarray类 47
3.1.3 数组操作 48
3.1.4 形状操作 55
3.2 Matplotlib库 58
3.2.1 快速绘图 58
3.2.2 绘制多轴图 61
3.2.3 绘制3D图 64
3.3 Scipy库 67
3.3.1 scipy.io 67
3.3.2 scipy.linalg 68
3.3.3 scipy.fftpack 69
3.3.4 scipy.optimize 70
3.3.5 scipy.interpolate 71
3.3.6 scipy.stats 72
第4章 TensorFlow基础 75
4.1 概述 76
4.2 TensorFlow的安装 77
4.3 TensorFlow基本概念 79
4.3.1 Graph和Session 79
4.3.2 placeholder 82
4.3.3 tensor 82
4.3.4 Variable 85
4.3.5 fetch和feed 87
4.4 MNIST 89
4.4.1 MNIST简介 89
4.4.2 MNIST解析 90

第5章 神经网络基础 95
5.1 神经网络概述 96
5.1.1 神经网络常用术语 97
5.1.2 神经网络模型 99
5.1.3 神经网络的运作 99
5.1.4 神经网络算法的特点 100
5.2 神经元模型 101
5.3 激活函数 103
5.4.1 sigmoid函数 104
5.4.2 tanh函数 104
5.4.3 ReLU函数 105
5.4.4 softmax函数 106
5.4 损失函数 106
5.4.1 均方差函数 106
5.4.2 交叉熵函数 107
5.5 梯度下降算法 107
5.5.1 梯度下降算法推导 108
5.5.2 梯度下降算法种类 108
5.5 BP算法 109
5.5.1 BP网络简介 109
5.5.2 BP算法流程 110
5.6 仿真实例 112
第6章 神经网络基础应用 117
6.1 感知机 118
6.1.1 感知机网络结构 119
6.1.2 感知机学习规则 120
6.1.3 感知机网络训练 120
6.1.5 仿真实例 121
6.2 线性回归 123
6.2.1 线性回归理论 123
6.2.2 仿真实例 126
6.3 逻辑回归 129
6.3.1 逻辑回归理论 129
6.3.2 仿真实例 131
第7章 卷积神经网络 137
7.1 概述 138
7.2 卷积神经网络结构 139
7.2.1 卷积层 141
7.2.2 池化层 144
7.2.3 全连接层 147
7.2.4 Dropout 层 148
7.3 训练过程 148
7.4 卷积神经网络经典模型 149
7.4.1 LeNet-5模型 149
7.4.2 AlexNet模型 150
7.5 仿真实例 152
第8章 循环神经网络 159
8.1 循环神经网络概述 160
8.1.1 循环神经网络结构 160
8.1.2 循环神经网络前向传播 162
8.1.3 循环神经网络训练算法 163
8.2 长短时记忆网络（LSTM） 163
8.2.1 LSTM结构 164
8.2.2 LSTM前向计算 165
8.2.3 LSTM训练算法 169
8.2.4 LSTM程序实现 169
8.3 循环神经网络的变种 170
8.3.1 双向循环神经网络 170
8.3.2 深层循环神经网络 171
8.4 仿真实例 172
附录A Python主要函数 181
附录B TensorFlow主要函数 189
参考文献 198

前    言
　
　　继2016年3月击败世界围棋大师李世石，AlphaGo又于2017年5月横扫中国九段棋手柯洁，从此“人工智能”成为最火热的词汇之一，人工智能的应用遍地开花，热度持续高涨，IT领域甚至言必称之。因此，众多有志之士欲投身到人工智能的浪潮之中，但如何快速入门成为摆在他们面前的第一道障碍。
　　千里之行，始于足下。下面先梳理一下人工智能、机器学习和深度学习的关系。人工智能是宽泛概念上的高级计算智能，机器学习是研究人工智能的一个有效手段，而深度学习是机器学习的一个分支。深度学习突破了传统机器学习算法的瓶颈，推动了人工智能领域的快速发展；而目前大多数深度学习都是通过神经网络来实现的。
　　工欲善其事，必先利其器。神经网络和深度学习的框架和程序实现语言有很多种。其中，TensorFlow由于其灵活性、高效性和可移植性，成为目前最流行的一种深度学习框架；Python语言由于其简洁性、易读性和可扩展性，已成为目前最受欢迎的深度学习程序设计语言。
　　本书基于TensorFlow框架和Python语言来实现基本神经网络算法和深度学习算法，主要内容包括：第1章综述人工智能、机器学习和深度学习的基本知识；第2章、第3章介绍Python及其基础库Numpy、Matplotlib和Scipy的使用方法；第4章介绍TensorFlow的基本知识和使用方法；第5章、第6章介绍神经网络的基础知识以及它的基础应用——感知机、线性回归与逻辑回归的理论与实现；第7章、第8章介绍两种热门的深度神经网络——?卷积神经网络和循环神经网络的理论与实现。
　　本书旨在作为一本神经网络与深度学习的入门图书，其主要特点有：
　　（1）系统性：首先介绍Python、TensorFlow的使用方法，然后介绍基本神经网络的理论及应用，最后介绍深度神经网络的理论及实现，内容由浅入深、循序渐进。
　　（2）通用性：程序实例采用通用的数值优化和MNIST手写字体案例，适合各学科和各领域的人员理解和学习。
　　（3）实用性：注重理论联系实际，首先进行理论介绍，然后进行程序实现，通过理论介绍来初步了解算法，通过程序实现来深入理解算法。
　　本书适于电子、通信、计算机、自动化、机器人和经济学等学科以及信号处理、语音识别、图像识别、模式识别、机器翻译和人机交互等领域的读者阅读，既可作为高等院校高年级本科生和研究生的学习用书，也可供相关领域的科研人员学习参考。
　　为了便于读者学习和参考，书中的实例程序可在华信教育资源网（https://www.hxedu.com.cn/）免费下载，或通过与本书责任编辑（[email protected]）联系获取。
　　在本书编写过程中，得到了北京无线电测量研究所科技委、档信中心、总体部以及航天科工二院“创客银行”项目的支持和帮助，电子工业出版社相关编辑为本书的编辑出版付出了辛勤劳动，特此表示感谢。
　　最后要感谢我的爱人焦淑娟和爱子包佳铭所给予的支持和动力。由于编著者水平有限，书中定有不足之处，诚望各位专家和读者批评指正。联系方式：[email protected]。
　
　
　　                                                      编著者
　　                                                      2019年1月