神经网络与深度学习（微课视频版）

本书从神经网络起源开始介绍人工神经网络发展过程中出现的多种优秀模型，从理论到实践系统介绍和分析了每个模型的提出原因、模型结构、运行过程以及如何实现。书中从神经元入手，由小到大、由点到面地介绍了在神经网络发展过程中里程碑式的网络模型。
书籍梳理了多种模型结构、学习算法、数据集以及实现过程，采用科学的学习模式设计教材，让读者先从理论入手，经过详细的文字和数学公式的引导，自己尝试实现模型。书籍每章都包括理论、应用和实践三个主要部分，这是目前很多同类型教材不具备的，本书可以作为高等院校专业和非专业学生的教材，教材内容严谨充实，拥有深度但不晦涩难懂，可以作为神经网络入门的指路灯塔，亦可作为从事相关研究人员的知识全集。

 

本书从两大部分阐述了神经网络与深度学习的基本理论： 一是神经网络； 二是深度学习。系统地整理了神经网络与深度学习的知识体系，由浅入深地进行了详细讲解。全书共13章，第1章介绍神经网络的概念、发展历史、研究内容、应用领域以及神经网络与深度学习的关系。其后12章的内容分为两大部分： 第一部分（第2~7章）阐述了6种典型的神经网络模型，即MP模型、感知机模型、BP神经网络、Hopfield神经网络、玻耳兹曼机、自组织神经网络等。第二部分（第8~13章）阐述了深度学习的6种经典模型，即深度神经网络、深度置信网络、卷积神经网络、循环神经网络、生成式对抗网络、图神经网络等。详细介绍了它们的网络结构、学习算法、工作原理、应用实例及操作实践，使学生在全面掌握神经网络与深度学习相关知识的同时，提高动手能力，并提高应用神经网络与深度学习技术来解决实际问题的能力。每章后面附有习题，以供读者练习。 本书还增加了课程思政的内容，在介绍各种神经网络与深度学习模型的基本原理、具体应用场景以及实践运用的同时，引导学生明晰技术前沿发展，明确领域社会价值，树立远大职业理想，深刻认识个人专业对国家发展和社会建设以及历史进程的推动影响。培养学生精益求精的工匠精神、刻苦钻研的探索精神和团队协作的共赢精神，永不停顿地对未知领域进行探究，不仅有助于促进个人发展更有助于推动社会形成强大而持久的生产力和创造力。 本书主要作为计算机及相关学科研究生和高年级本科生的课程教材，也可供相关领域的研究人员和工程技术人员参考。

第1章绪论

1.1神经网络的概念

1.2神经网络的发展历史

1.2.1启蒙时期

1.2.2萧条时期

1.2.3复兴时期

1.2.4高潮时期

1.3神经网络的研究内容

1.3.1神经元模型

1.3.2神经网络的结构

1.3.3神经网络与深度学习的学习算法

1.4神经网络的应用领域

1.4.1自然语言处理

1.4.2推荐系统

1.4.3医学领域

1.4.4网络空间安全

1.4.5控制领域

1.4.6交通领域

1.4.7心理学领域

1.5神经网络与深度学习的关系

1.6习题
第2章神经网络基础

2.1生物神经系统

2.1.1生物神经元的结构

2.1.2生物神经元的功能

2.1.3生物神经元和人工神经元的区别

2.2人工神经元模型

2.2.1人工神经元的结构

2.2.2激活函数

2.2.3其他常用激活函数

2.3MP神经元模型

2.3.1基础MP神经元模型

2.3.2延时MP模型

2.3.3改进的MP模型

2.4神经网络的互连结构

2.5神经网络的学习

2.5.1神经网络的学习方式

2.5.2神经网络的学习规则

2.6本章实践

2.7习题
第3章感知机

3.1感知机原理

3.1.1单层感知机

3.1.2多层感知机

3.2感知机模型

3.3感知机算法

3.3.1随机梯度下降法

3.3.2感知机学习算法

3.4感知机改进算法

3.5本章实践

3.6习题
第4章误差反向传播神经网络

4.1BP神经网络结构

4.2BP学习算法

4.2.1BP算法的过程

4.2.2BP神经网络的优化算法

4.3BP神经网络学习算法的改进与优化

4.3.1BP神经网络的优点

4.3.2BP算法存在的问题

4.3.3累积误差算法的BP神经网络

4.3.4Sigmoid函数输出限幅的BP算法

4.3.5增加动量项的BP算法

4.3.6学习率自适应调整算法

4.4BP神经网络的应用

4.5本章实践

4.6习题
第5章Hopfield神经网络

5.1Hopfield神经网络概述

5.2离散型Hopfield神经网络

5.2.1离散型Hopfield神经网络结构及工作方式

5.2.2离散型Hopfield神经网络的吸引子与能量函数

5.2.3离散型Hopfield神经网络的连接权值设计

5.2.4离散型Hopfield神经网络的信息存储容量

5.3连续型Hopfield神经网络

5.3.1连续型Hopfield神经网络的结构

5.3.2连续型Hopfield神经网络的神经元

5.3.3连续型Hopfield神经网络的能量函数

5.4Hopfield神经网络的应用

5.4.1离散型Hopfield神经网络的应用

5.4.2连续型Hopfield神经网络的应用

5.5本章实践

5.5.1离散型Hopfield神经网络实践

5.5.2连续型Hopfield神经网络实践

5.6习题
第6章玻耳兹曼机

6.1随机型神经网络概述

6.2玻耳兹曼机原理

6.2.1玻耳兹曼机的网络结构

6.2.2玻耳兹曼机的能量函数及玻耳兹曼分布

6.2.3玻耳兹曼机的运行规则

6.2.4玻耳兹曼机的联想记忆

6.3受限玻耳兹曼机原理

6.3.1受限玻耳兹曼机的网络结构

6.3.2受限玻耳兹曼机的能量函数

6.3.3受限玻耳兹曼机的运行规则

6.3.4受限玻耳兹曼机的应用

6.4本章实践

6.5习题
第7章自组织神经网络

7.1自组织神经网络概述 

7.2竞争学习

7.2.1竞争学习的概念

7.2.2竞争学习规则

7.3自组织神经网络原理

7.3.1自组织神经网络的概念

7.3.2自组织神经网络的结构

7.3.3自组织神经网络的设计

7.3.4自组织神经网络的权值调整域

7.3.5自组织神经网络的运行原理与学习算法

7.3.6自组织神经网络应用实例

7.4改进的自组织神经网络模型

7.4.1采用混合高斯模型的自组织神经网络

7.4.2动态自组织神经网络模型

7.5本章实践

7.6习题
第8章深度神经网络

8.1深度神经网络概述

8.2深度神经网络的网络结构

8.2.1深度神经网络的基本结构

8.2.2深度神经网络的前向传播

8.2.3深度神经网络的反向传播

8.3深度神经网络的优化

8.3.1损失函数的选择

8.3.2参数优化

8.3.3正则优化

8.4深度神经网络的应用

8.5本章实践

8.6习题
第9章深度置信网络

9.1深度置信网络概述

9.2深度置信网络的网络结构

9.2.1深度置信网络的基础结构

9.2.2DBNDNN的训练过程

9.3改进的深度置信网络算法

9.4深度置信网络的应用

9.5本章实践

9.6习题
第10章卷积神经网络

10.1卷积神经网络概述

10.2卷积神经网络基本部件

10.2.1输入层

10.2.2卷积层

10.2.3池化层

10.2.4激活层

10.2.5全连接层

10.2.6目标函数

10.2.7卷积神经网络的基本特征

10.3卷积神经网络的网络结构

10.3.1基本结构

10.3.2前向传播

10.3.3反向传播

10.4改进的卷积神经网络

10.4.1AlexNet神经网络

10.4.2VGGNets神经网络

10.5卷积神经网络的应用

10.6本章实践

10.7习题
第11章循环神经网络

11.1循环神经网络概述

11.2循环神经网络的网络结构

11.2.1基本结构

11.2.2前向传播

11.2.3反向传播

11.3循环神经网络的优化算法

11.3.1门控算法

11.3.2深度算法

11.4循环神经网络的应用

11.5本章实践

11.6习题
第12章生成式对抗网络

12.1生成式对抗网络概述

12.2生成式对抗网络的结构

12.2.1生成式对抗网络的判别器

12.2.2生成式对抗网络的生成器

12.2.3生成式对抗网络的运行流程

12.3改进的生成式对抗网络

12.3.1生成式对抗网络的优势与缺陷

12.3.2生成式对抗网络的问题分析及改进

12.4生成式对抗网络的应用

12.5本章实践

12.6习题
第13章图神经网络

13.1图神经网络概述

13.2图

13.2.1图的基本定义

13.2.2图的基本类型

13.2.3邻居和度

13.2.4子图与路径

13.3图神经网络模型

13.3.1图卷积神经网络

13.3.2图注意力网络

13.3.3图自动编码器

13.3.4图生成网络

13.3.5递归图神经网络

13.4GNN的应用

13.5本章实践

13.6习题
参考文献

 

爱默生说“人们喜欢猎奇，这就是科学的种子”，我们目前仍处于科技的襁褓阶段，亘古通今人类追逐未知的脚步从未停止。人类通过工业革命完成了从手工业向机器工业的转型，通过零一编码进入了信息时代。自近代起，人脑的内部机理给无数科学家带来了无尽的遐想，人脑与机器的结合研究也在科研人员的孜孜不倦中滚滚向前，这或许将带来智能革命。人类一直在认识和改造外部世界中摸索，智能革命将会带来社会智慧化，这将在世界形成最大的智能共同体。
本书从两大部分阐述了神经网络与深度学习的基本理论： 一是神经网络； 二是深度学习。系统地整理了神经网络与深度学习的知识体系，由浅入深地进行了详细讲解。全书共13章，第1章介绍神经网络的概念、发展历史、研究内容、应用领域以及神经网络与深度学习的关系。其后12章的内容分为两大部分： 第一部分（第2~7章）阐述了6种典型的神经网络模型，即MP模型、感知机模型、BP神经网络、Hopfield神经网络、玻耳兹曼机、自组织神经网络等。第二部分（第8~13章）阐述了深度学习的6种经典模型，即深度神经网络、深度置信网络、卷积神经网络、循环神经网络、生成式对抗网络、图神经网络等。详细介绍了它们的网络结构、学习算法、工作原理、应用实例及操作实践，使学生在全面掌握神经网络与深度学习相关知识的同时，提高动手能力，并提高应用神经网络与深度学习技术来解决实际问题的能力。
本书还增加了课程思政的内容，在介绍各种神经网络与深度学习模型的基本原理、具体应用场景以及实践运用的同时，引导学生明晰技术前沿发展，明确领域社会价值，树立远大职业理想，深刻认识个人专业对国家发展和社会建设以及历史进程的推动影响。培养学生精益求精的工匠精神、刻苦钻研的探索精神和团队协作的共赢精神，永不停顿的对未知领域的探究，不仅有助于促进个人发展更有助于推动社会形成强大而持久的生产力和创造力。
书稿终成，掩卷思量，饮水思源，在此表达衷心的感谢与感恩。本书是集体智慧的结晶，全书由尚文倩主编，宋国惠老师、王春华、徐琳、于再富、王萱、宋苗冉、宋康、柴佳昭、王琰、韩皛、宋文超等同学为本书的出版做出了重要贡献。同时也感谢中国传媒大学研究生教育教学改革精品教材项目对本书的资金支持！本书还借鉴了有关教材及互联网上的一些资料，也向这些文献的作者表达诚挚的谢意！
本书主要作为计算机及相关学科研究生和高年级本科生的课程教材，也可供相关领域的研究人员和工程技术人员参考。一本书如同一艘巨轮，驶向无尽的海洋，使人领悟知识的奥妙。由于神经网络发展迅速，书籍内容不可能做到完备，书中疏漏和不足在所难免，承望广大读者朋友批评指正。

作者

2022年10月于中国传媒大学