神经网络入门与实战

本教材将原有的面向硕士研究生和博士研究生的课程内容，通过老师们的详细解读，适用于本科生的课堂教学。因此，从理论环节到应用案例，都要亲自体验和根据本科生数学基础进行调整和详细解读，才能让本科学生接受有深度难度的专业课程。本书注重对数学分析方法和性能优化的讨论，强调神经网络在模式识别、信号处理和控制 系统等实际工程问题中的应用。书中包含大量例题和习题，并配有13个基于MATLAB软件的计算机实验程序。本书适于作研究生或大学高年级学生的教材，也可作希望深入学习神经网络的科技人员的参考书。

 

本书共分8章，系统地介绍了神经网络盲均衡算法的基本理论及算法形式。首先分析了盲均衡算法的基本原理、均衡准则、评价指标以及与神经网络的结合机理。其次，系统研究了前馈神经网络、反馈神经网络、进化神经网络、模糊神经网络和小波神经网络盲均衡算法的基本原理，推导了算法迭代公式，并进行了计算机仿真。*后采用zigzag编码和前馈神经网络实现了二维医学图像的盲均衡。

张立毅，男，生于1963年2月，1985年毕业于太原工业大学（现太原理工大学）获工学学士学位，2003年毕业于北京理工大学获工学博士学位，2008年天津大学通信与信息系统博士后流动站出站。现任天津商业大学研究生部主任兼学科建设办公室主任、教授，天津大学信息与通信工程一级学科博士研究生导师。先后兼任全国微波毫米波测试专业学会副主任，中国电子学会电路与系统分会委员，山西省通信学会常务理事，山西省通信学会学术委员会副主任，天津市通信学会高校工作委员会理事，中国电子学会高级会员，中国通信学会高级会员。研究方向为信号检测与处理，智能计算与信息处理。指导硕士研究生毕业86名，博士研究生8名，博士后4名。2009年被评为天津市优秀教师，2011年被评为天津市劳动模范。先后完成鉴定国家自然科学基金、中国博士后基金、国家863子课题等项目20余项，在国内外学术期刊及会议上发表论文200余篇，其中被EI等收录100余篇次。

目录

第1章  概述1

1.1  人工神经网络简介1

1.1.1  人工神经网络的基本概念1

1.1.2  人工神经网络的发展史2

1.1.3  神经网络的研究内容5

1.2  神经网络的特点5

1.3  神经网络的结构6

1.4  人工神经网络的分类7

1.5  人工神经网络的学习方式9

1.6  人工神经网络的应用9

1.6.1  人工神经网络在全球气候变化中的应用10

1.6.2  人工神经网络在控制系统中的应用10

1.6.3  人工神经网络在疾病预后研究中的应用11

 

第2章  感知器13

2.1  感知器元件14

2.1.1  神经元14

2.1.2  神经元参数16

2.1.3  组合功能16

2.1.4  激活功能16

2.1.5  输出功能18

2.1.6  结论18

2.2  感知器模型19

2.2.1  超平面的定义19

2.2.2  数据集的线性可分20

2.3  感知器学习算法22

2.3.1  感知器学习算法的原始形式23

2.3.2  感知器学习算法的对偶形式24

2.4  感知器的收敛性25

2.5  感知器应用举例25

2.5.1  问题描述25

2.5.2  添加权重和阈值26

2.5.3  建立决策模型26

2.5.4  向量化27

2.5.5  神经网络的运作过程28

2.6  感知器的局限性29

2.6.1  感知器能做什么29

2.6.2  感知器不能做什么29

 

第3章  BP神经网络31

3.1  前向传播37

3.2  反向传播38

 

第4章  支持向量机41

4.1  问题提出41

4.2  SVM问题42

4.2.1  支持向量与样本间隔42

4.2.2  支持向量机形式化描述43

4.3  对偶问题43

4.3.1  SVM问题的对偶问题43

4.3.2  对偶问题再讨论44

4.3.3  对偶问题求解45

4.4  核函数46

4.4.1  如何处理非线性可分数据46

4.4.2  核函数的提出47

4.4.3  几种常见的核函数48

4.5  软间隔与正则化49

4.5.1  如何处理噪声数据49

4.5.2  软间隔支持向量机49

4.5.3  软间隔支持向量机对偶问题50

4.5.4  正则化51

 

第5章  深度学习53

5.1  深度神经网络概述53

5.2  深度卷积神经网络55

5.2.1  卷积算子55

5.2.2  卷积的特征55

5.3  深度卷积神经网络的典型结构56

5.3.1  基本网络结构56

5.3.2  网络结构模式56

5.4  深度卷积神经网络的层60

5.4.1  卷积层60

5.4.2  池化层60

5.4.3  激活层60

5.5  深度卷积神经网络在图像识别中的应用61

 

第6章  强化学习63

6.1  强化学习概述63

6.2  强化学习问题建模——马尔可夫决策过程64

6.3  强化学习算法简介65

6.3.1  基于值函数的策略学习方法65

6.3.2  策略搜索算法70

6.4  深度强化学习76

6.5  小结79

 

第7章  极限学习80

7.1  极限学习概述80

7.2  极限学习算法80

7.3  极限学习的改进82

7.3.1  核极限学习82

7.3.2  增量型极限学习84

7.3.3  深度极限学习85

7.4  极限学习的应用87

7.4.1  极限学习在图像分类中的应用88

7.4.2  极限学习在入侵检测中的应用88

7.4.3  极限学习在故障识别中的应用91

7.5  小结91

 

第8章  TensorFlow机器学习平台93

8.1  TensorFlow起源95

8.2  TensorFlow简介95

8.3  TensorFlow的特征96

8.4  TensorFlow使用对象、环境及兼容性97

8.5  TensorFlow的其他模块98

8.6  安全性101

 

第9章  神经网络的应用102

9.1  基于神经网络的图像处理102

9.2  基于神经网络的信号处理109

9.3  基于神经网络的模式识别109

9.4  基于神经网络的机器控制122

参考文献126

神经网络技术是现代人工智能最重要的分支，是通过模拟人脑的神经网络来实现类人工智能的机器学习技术和方法。本书讨论的是神经网络的理论基础、算法设计、算法实现，以及工程领域中的应用。
人在思考问题时，神经冲动会在神经突触所连接的无数神经元中传递，信息的处理是由神经元之间的相互作用来实现的。受此启发，人们开始模拟人体大脑的结构和工作机理，即用很多的结点来处理信息。在人工神经网络中，人工神经元、处理元件、电子元件等大量的处理单元被用来模仿人脑神经系统的结构，知识与信息的存储表现为互连的网络元件间的分布式联系，网络的学习和识别取决于和神经元连接权值的动态演化过程。因为在大脑的神经冲动传导过程中不仅有是与非，还存在强与弱、缓与急，所以人工神经网络和大脑还是有区别的。
本书可以作为高校相关专业的本科生或者研究生教材，同时也适合广大的人工智能领域相关的从业人员自学。在学习本书之前，应具有机器学习、模式识别、算法设计与分析等相关知识。
本书共9章，主要围绕神经网络的原理与实践进行讲解，在内容上将理论与实践、技术与应用结合，具体如下。
第1章介绍了神经网络的概念、特点、拓扑结构和应用。
第2章介绍了感知器模型、处理单元模型、学习策略、局限性和收敛性。
第3章介绍了BP神经网络、神经元模型、BP神经网络结构、神经网络的数据预处理。
第4章介绍了支持向量机、间隔与支持向量、对偶问题、核函数、软间隔和正则化、支持向量回归和核方法。
第5章介绍了深度学习网络、深度神经网络、深度卷积神经网络、深度卷积神经网络典型结构、卷积网络的层和深度卷积神经网络在图像识别中的应用。
第6章介绍了强化学习、问题模型、无模型化强化学习方法、模型化强化学习方法和深度强化学习。
第7章介绍了极限学习、极限学习算法、极限学习的改进、极限学习的应用。
第8章介绍了TensorFlow机器学习平台的起源、简介、特征、使用对象、环境及兼容性、其他模块。
第9章介绍了神经网络在图像处理、信号处理、模式识别和机器控制方面的应用。
本书的主要分工如下: 侯琳主要负责第1章的编写；于洋主要负责第2章、第8章和第7章部分内容的编写，以及本书的主要统稿和审稿工作；孙迪主要负责第3章的编写；陈亚瑞主要负责第4章的编写；胡志强主要负责第5章的编写；赵婷婷主要负责第6章的编写；杨巨成主要负责第7章的编写，以及本书的主要审稿工作；吴超主要负责第9章的编写。
在杨巨成教授的指导下，本书在编写过程中才得以克服很多技术上的难点。同时，感谢天津科技大学人工智能学院张灵超、王晓靖、王洁、韩书杰、魏峰、邱润泽为本书所做的工作。最后，还要感谢参考文献的作者，他们的成果使得本书的学术水平得以提升。
由于相关技术的发展日新月异，本书难免有不足之处，希望读者批评指正，提出宝贵的修改意见。

作者2020年8月