深度学习模型与算法基础

深度学习技术作为人工智能领域的一门新兴技术，已成为人工智能科研领域、企业应用领域中常用的一门技术。本教材采用由浅入深的方式，对深度学习相关理论进行讲解，满足教学过程中的需要。

 

深度学习技术作为人工智能领域的一门新兴技术，已成为人工智能科研领域、企业应用领域中常用的一门技术。本教材由神经网络基本训练规则、感知器、BP网络作为基础，讲述神经网络基础训练方法。并通过自编码器网络，将浅层网络过度到深度神经网络部分，详细讲解卷积神经网络原理及训练方法、卷积神经网络的发展以及基于卷积神经网络的目标检测算法等。而后，对序列信息处理神经网络—循环神经网络进行讲解。本教程采用由浅入深的方式，对深度学习相关理论进行讲解，满足教学过程中的需要。

许庆阳山东大学副教授、博士、博士生导师，主要从事智能机器人、人工智能、深度学习、智能优化算法等方面的教学与科研工作。参与科技部科技创新2030—“新一代人工智能”重大项目，承担国家自然科学基金1项、山东省重点研发计划1项，完成了山东省自然科学基金1项。在国内外学术期刊发表学术论文25余篇，其中SCI已收录17篇，申请发明专利5项。

第1章绪论

1．1人工神经网络发展史

1．1．1人工神经网络的提出

1．1．2人工神经网络的陨落

1．1．3人工神经网络的兴起

1．1．4深度学习的提出

1．2人工神经网络学习机理

1．2．1生物学机理

1．2．2浅层学习

1．2．3深度学习

1．2．4特征学习

第2章神经网络基础

2．1概述

2．2感知器

2．2．1感知器学习规则

2．2．2感知器原理

2．3线性单元

2．4δ学习规则

2．5BP神经网络结构

2．5．1BP神经网络原理

2．5．2BP神经元偏移量

2．5．3BP神经网络非线性表达能力

2．6反向传播算法

2．6．1误差项推导

2．6．2误差反向传播算法流程

2．6．3误差反向传播算法计算示例

2．7梯度检查

2．8超参数的确定

2．9模型训练与评估

2．10向量化编程

第3章自编码器

3．1自编码器原理

3．2不同种类的自编码器

3．2．1正则自编码器

3．2．2稀疏自编码器

3．2．3去噪自编码器

3．3堆叠自编码器

3．4预训练与深度学习

3．5Softmax与交叉熵函数融合

3．6深度神经网络权值初始化方法

3．6．1Xavier初始化方法

3．6．2Kaiming初始化方法

3．6．3LeCun初始化方法

第4章卷积神经网络

4．1全连接神经网络局限性

4．2卷积神经网络原理

4．3卷积神经网络前向计算

4．3．1新的激活函数

4．3．2卷积层

4．3．3池化层

4．3．4全连接层

4．4卷积网络计算实例

4．5卷积神经网络训练

4．5．1池化层误差传递

4．5．2卷积层误差传递

4．5．3卷积层参数训练

4．5．4卷积神经网络训练流程

4．5．5卷积神经网络训练计算实例

4．6深度神经网络计算模式

4．6．1卷积计算加速

4．6．2自动微分方法

第5章卷积神经网络结构演化

5．1典型的卷积神经网络

5．1．1卷积网络加深

5．1．2卷积网络拓宽

5．1．3残差网络

5．2轻量化网络

5．3卷积操作模式设计

5．4全卷积网络

第6章深度残差网络

6．1概述

6．2残差网络结构

6．3残差网络讨论

6．4Highway Network

6．5残差网络变体

6．5．1Wide Residual Network

6．5．2ResNeXt

6．5．3DenseNet

6．5．4DPN

第7章目标检测算法

7．1传统目标检测方法

7．2基于深度学习的目标检测方法

7．2．1目标检测常用技术

7．2．2RCNN

7．2．3SPPNet

7．2．4Fast RCNN

7．2．5Faster RCNN 

7．2．6YOLO

7．2．7SSD

7．3目标检测算法的改进

第8章循环神经网络

8．1循环神经网络概述

8．1．1循环神经网络原理

8．1．2双向循环神经网络

8．1．3深度循环神经网络

8．1．4典型循环神经网络结构

8．2循环神经网络训练算法

8．2．1BPTT训练算法

8．2．2实时循环学习算法

8．2．3梯度爆炸与消失问题

8．3RNN应用

第9章长短时记忆网络

9．1LSTM原理

9．2LSTM前向计算

9．3LSTM网络训练

9．3．1网络训练算法

9．3．2误差项沿时间传递

9．3．3误差项沿网络层次传递

9．4GRU

9．4．1GRU前向计算

9．4．2GRU训练算法

第10章Transformer

10．1神经网络注意力机制

10．1．1神经网络注意力机制原理

10．1．2自注意力机制

10．2Transformer模型

10．2．1编码器模块

10．2．2解码器模块

10．3神经网络语言模型

10．3．1GPT模型

10．3．2BERT模型

10．3．3GLM模型

第11章生成式模型

11．1概述

11．2生成对抗网络

11．2．1生成模型

11．2．2判别模型

11．2．3目标函数

11．2．4典型生成对抗网络

11．3变分自编码器

11．3．1模型推导

11．3．2讨论

11．3．3VAE实现

11．4自回归模型

11．5扩散模型

第12章深度学习框架

12．1计算图

12．2典型深度学习框架

12．2．1国外深度学习框架

12．2．2国内深度学习框架

参考文献

 

近年来，人工智能发展迅速，不断地改变人类的生产和生活方式，极大地推动了社会经济的发展，已成为驱动新一轮科技革命和产业变革的重要力量。人工智能的发展得益于多方面因素： 一方面算力的不断增长，为人工智能的发展提供了有力的硬件支撑； 另一方面大数据时代海量数据的积累，为人工智能的发展奠定了数据基础； 更重要的是人工智能算法的进步和优化，为人工智能的发展提供了原动力。近年来，推动人工智能发展的关键技术之一就是深度学习。深度学习是机器学习领域一个新的研究方向，其本质是利用人工神经网络架构，对数据进行特征学习与决策的算法。深度学习是一种复杂的机器学习算法，具有特征提取、表征及预测能力。传统机器学习方法将特征提取与分类决策作为两个问题进行处理，特征提取依赖人工设计的特征，提取特征后选用浅层模型进行分类预测； 深度学习方法不需要人工设计特征，而是依赖算法自动学习提取特征的方法，同时对特征进行分类，特征提取与分类预测融为一体，采用端到端的训练模式。深度学习模仿了人类大脑的运行方式，从经验数据中学习获取知识。深度学习在视觉信息分析、机器翻译、人机对话、语音识别与合成、机器人以及其他相关领域都取得了众多丰硕的成果。

本书共12章。第1章从人工神经网络的起源说起，阐述了随着时代的变迁，人工神经网络由传统浅层算法演变为当前深度学习方法跌宕起伏的发展历程。在第2章中，对人工神经网络基础进行了阐述，包括感知器、BP网络以及反向传播算法，这是人工神经网络理论发展的根基。第3章对一种自监督架构——自编码器进行了阐述，自编码器也是深度学习初次被提出时所采用的网络训练机制。第4章到第7章分别对卷积网络基础、卷积网络架构的发展以及卷积网络在目标检测算法中的应用进行了阐述，卷积网络是深度学习早期发展最为迅速的一个分支，在视觉信息的处理中发挥了重要作用。第8章、第9章对序列信息处理模型循环神经网络、长短时神经网络进行了阐述，详尽分析了循环网络的正向计算以及误差反向传播原理，为学生利用相关模型进行语言建模奠定基础。第10章对基于注意力方式的架构Transformer模型进行了介绍，分析了模型的详细工作原理，以及基于Transformer构造的GPT、BERT等大型语言模型的工作原理。第11章对生成式模型进行了介绍，分析了对抗网络、变分自编码器、扩散模型等的工作原理。最后，第12章对深度学习框架进行了简要的介绍。

本书在取材和编排上，由浅入深、循序渐进地讲解典型的深度学习模型的正向计算过程、误差反向传播原理等内容，便于读者学习和教学使用。

本书由许庆阳、宋勇、张承进编著，张承进编写第1、2章，许庆阳编写第4、5、6、7、8、9、10章，宋勇编写第3、11、12章。感谢刘晓潇、丁凯旋、于洋、刘志超、李国光、滕俊等研究生参与本书的文字处理工作。

本书可以作为高等学校自动化、计算机、人工智能、机器人工程、智能科学与技术等专业的深度学习理论的教学用书，也可作为相关技术人员的参考用书。

本书在编写过程中参考和引用了许多文献，在此对文献作者表示真诚的感谢。由于编者水平有限，书中难免存在错误和不妥之处，敬请广大读者批评指正。

 

许庆阳
2023年4月