深度学习理论与实践 吕云翔 王志

配套资源：电子课件、实验和案例讲解视频、教学大纲、习题答案、模拟试题、程序代码、数据集。

本书特色：

强调实际生产中深度学习技术的应用过程。

提供8个综合实践应用案例。

本书共分为三个部分，分别为理论基础、实验和案例。这三个部分层层递进，介绍深度学习的基础知识与常用方法，全面细致地提供了深度学习的原理和在深度学习框架下的实践步骤。第一部分主要通过7个章节来介绍深度学习的基础知识，包括深度学习在不同领域的应用，不同深度学习框架的对比，以及机器学习、神经网络等方面的讲解。第二部分主要包括常用深度学习框架的基础讲解以及计算机视觉、自然语言处理、强化学习和可视化技术领域的一些实验讲解。第三部分则是提供8个案例，来介绍深度学习在图像分类、目标检测、目标识别、图像分割、风格迁移、自然语言处理等方面的应用。本书将理论与实践紧密结合，相信能为读者提供有益的学习指导。 本书适合Python深度学习初学者、机器学习算法分析从业人员以及高等院校计算机科学、软件工程等相关专业的师生阅读。

吕云翔，从2003年在北航软件学院工作以来，一直讲授本科生的“计算机导论”、“职业生涯规划”和“软件工程”这三门课，以及研究生的“软件工程”课（全英文，2003-2007）。在教学上能够认真备课，积极探索，并且能够将大量的教学经验（从1986年开始从教）应用到实际的教学中，教学效果良好，使学生能够很好地掌握相关的知识和技能。2009年获得北航软件学院第一届教学比赛二等奖。从2011年开始，以全英文的方式讲授“计算机导论”课程。 作为研究生指导教师先后指导了近200名研究生的毕业答辩。作为本科生指导教师，指导了本科毕业设计的学生近100名。在指导的过程中，取得的效果良好。 先后以第一作者著、编著和翻译了二十多本书。2009年获得北航软件学院著书特别奖。获北航教学成果二等奖一项（2012），三等奖两项（2010、2014）。

前言
第1部分深度学习理论基础
第1章深度学习简介
11计算机视觉
111定义
112基本任务
113传统方法
114仿生学与深度学习
115现代深度学习
116卷积神经网络
12自然语言处理
121自然语言处理的基本问题
122传统方法与神经网络方法的比较
123发展趋势
13强化学习
131什么是强化学习
132强化学习算法简介
133强化学习的应用
14本章小结
习题
第2章深度学习框架
21PyTorch
211什么是PyTorch
212PyTorch的特点
213PyTorch应用概述
22TensorFlow
221什么是TensorFlow
222数据流图
223TensorFlow的特点
224TensorFlow应用概述
23PaddlePaddle
231什么是PaddlePaddle
232PaddlePaddle的特点
233PaddlePaddle应用概述
24三者的比较
25本章小结
习题
第3章机器学习基础知识
31机器学习概述
311关键术语
312机器学习的分类
313机器学习的模型构造过程
32监督学习
321线性回归
322逻辑斯谛回归
323最小近邻法
324线性判别分析法
325朴素贝叶斯分类器
326决策树分类算法
327支持向量机分类算法
33无监督学习
331划分式聚类方法
332层次化聚类方法
333基于密度的聚类方法
34强化学习
341强化学习、监督学习和无监督学习
342强化学习问题描述
343强化学习问题分类
35神经网络和深度学习
351感知器模型
352前馈神经网络
353卷积神经网络
354其他类型结构的神经网络
36本章小结
习题
第4章回归模型
41线性回归模型
42Logistic回归模型
43用PyTorch实现Logistic回归
431数据准备
432线性方程
433激活函数
434损失函数
435优化算法
436模型可视化
44本章小结
习题
第5章神经网络基础
51基础概念
52感知器
521单层感知器
522多层感知器
53BP神经网络
531梯度下降
532反向传播
54Dropout正则化
55批标准化
551批标准化的实现方式
552批标准化的使用方法
56本章小结
习题
第6章卷积神经网络(CNN)与计算机视觉
61卷积神经网络的基本思想
62卷积操作
63池化层
64卷积神经网络
65经典网络结构
651VGG网络
652InceptionNet
653ResNet
654GAN
655Diffusion模型
66用PyTorch进行手写数字识别
67本章小结
习题
第7章神经网络与自然语言处理
71语言建模
72基于多层感知机的架构
73基于循环神经网络的架构
731循环单元
732通过时间反向传播
733带有门限的循环单元
734循环神经网络语言模型
735神经机器翻译
74基于卷积神经网络的架构
75基于Transformer的架构
751多头注意力
752非参位置编码
753编码器单元与解码器单元
76表示学习与预训练技术
761词向量
762加入上下文信息的特征表示
763网络预训练
77本章小结
习题
第2部分深度学习实验
第8章操作实践
81PyTorch操作实践
811PyTorch安装
812Tensor 对象及其运算
813Tensor 的索引和切片
814Tensor的变换、拼接和拆分
815PyTorch的Reduction操作
816PyTorch的自动微分
82TensorFlow操作实践
821TensorFlow安装
822Tensor 对象及其运算
823Tensor 的索引和切片
824Tensor 的变换、拼接和拆分
825TensorFlow的Reduction操作
826TensorFlow 的自动微分
83PaddlePaddle操作实践
831PaddlePaddle安装
832Tensor 的创建和初始化
833Tensor的常见基础操作
834自动微分
84本章小结
第9章人工智能热门研究领域实验
91计算机视觉
911一个通用的图像分类模型
912两阶段目标检测和语义分割
913人物图像处理
914调用远程服务
915动漫图像生成
92自然语言处理
921垃圾邮件分类
922词嵌入技术
923文本生成与多轮对话
924语音识别
93强化学习：一个会玩平衡摆的智能体
94可视化技术
941使用TensorBoard可视化训练过程
942卷积核可视化
943注意力机制可视化
95本章小结
第3部分深度学习案例
第10章案例：花卉图片分类
101环境与数据准备
1011环境安装
1012数据集简介
1013数据集下载与处理
102模型创建、训练和测试
1021模型创建与训练
1022测试与结果
103本章小结
第11章案例：人脸关键点检测
111数据准备
1111人脸裁剪与缩放
1112数据归一化处理
1113整体代码
112模型搭建与训练
1121特征图生成
1122模型搭建
1123模型训练
113模型评价
114本章小结
第12章案例：街景门牌字符识别
121背景介绍
122算法介绍
1221YOLOv4
1222算法流程
123模型优化
1231数据增强
1232模型融合
124结果展

深度学习是学习样本数据的内在规律和表示层次，在这些学习过程中获得的信息对文字、图像和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。深度学习是一种复杂的机器学习算法，在语音和图像识别方面取得的效果远远超过先前的相关技术。
深度学习在搜索技术、数据挖掘、机器学习、机器翻译、自然语言处理、多媒体学习、语音、推荐和个性化技术及其他相关领域都取得了很多成果。深度学习使机器模仿视听和思考等人类的活动，解决了很多复杂的模式识别难题，使得人工智能相关技术取得了很大进步。
深度学习是机器学习的一种，而机器学习是实现人工智能的必经路径。深度学习的概念源于人工神经网络的研究，包含多个隐藏层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层来表示属性类别或特征，以发现数据的分布式特征表示。研究深度学习的动机在于建立模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，如图像、声音和文本等。
本书的写作目的是让读者尽可能深入理解深度学习的技术。此外，本书强调将理论与实践结合，简明的案例不仅能加深读者对于理论知识的理解，还能直观感受到实际生产中深度学习技术的应用过程。
本书第1部分主要通过7章来介绍深度学习的基础知识，包括深度学习在计算机视觉、自然语言处理、强化学习等方面的应用，不同深度学习框架的介绍和对比，以及机器学习、神经网络等方面的内容。第2部分主要是本书的实验部分，包括PyTorch、TensorFlow、PaddlePaddle这三个深度学习框架的基础讲解，以及计算机视觉、自然语言处理、强化学习和可视化技术领域的一些实验讲解。第3部分则是提供了综合实践案例，通过8个案例来介绍深度学习在图像分类、目标检测、目标识别、图像分割、风格迁移、自然语言处理等方面的应用。
为了实现深度学习，我们需要经历许多考验，需要花费很长时间，但是相应地也能学到和发现很多东西，而且这也是一个有趣的、令人兴奋的过程。
本书编写人员有吕云翔、王志鹏、王渌汀、郭闻浩、刘卓然、王礼科、赵禹昇、谭家俊、陈天异、仇善召、关捷雄、姜丰、华昱云、陈妙然、梁晶晶、屈茗若、陈翔宇、欧阳植昊。此外，曾洪立参与了部分内容的编写并进行了素材整理及配套资源制作等工作。
由于编者水平和能力有限，书中难免有疏漏之处，恳请各位同人和广大读者给予批评指正，也希望各位读者能将实践过程中的经验和心得与我们交流。