深度学习：基于Matlab的设计实例（深度学习与MATLAB的完美结合!设计实例的详实展示）

 

深度学习如此流行,以至于关于它的资料随处可见。但往往是理论连篇，并不适合开发者具体使用，本书内容丰富实用、原理直白易懂、示例详细直观、代码详实细致，目的就是希望帮助开发者在学习这个人工智能的过程中不那么痛苦,同时也希望用本书中具体的开发实例讲解能够帮助开发者避免困惑。本书主要考虑了两类读者。*类是准备系统地学习深度学习以进一步研究和开发的读者，书中的示例代码将更加有助于进一步理解本书所讲的内容。第二类是想比从杂志或报纸上获得更深入的深度学习信息,但不必进行实际研究的读者。书中概念和示例结果,也有助于您理解深度学习的大多数重要技术。

作者简介：

Phil Kim，博士，从事无人驾驶飞机自主飞行算法和机载软件的开发和研制工作。同时，他作为一名经验丰富的MATLAB程序员，一直致力于使用MATLAB进行人工智能、深度学习的大数据集绘制和分析算法的研究，先后在美国出版了MATLAB
Deep Learning: with Machine Learning, Neural Networks and Artificial
Intelligence和Deep
Learning for Beginners: with MATLAB Examples 等书籍，在人工智能和MATLAB领域享有较高声誉。

译者简介：

邹伟，副研究员，北京睿客邦科技有限公司CEO，并成立了中科院邹博人工智能研究中心（杭州站）等产研机构；研究方向为机器学习、数据挖掘、计算几何等领域，研究成果已成功应用于大型气象设备的图像与文本挖掘、金融产品AI化、股票交易与预测、高速公路流量预测和分析、传统农资产品价格预测和决策等领域；获得发明专利4项，著作权3个。

第1章 机器学习

1.1 机器学习与深度学习

1.2 什么是机器学习

1.3 机器学习的挑战

1.4 过拟合

1.5 直面过拟合

1.6 机器学习的类型

1.7 分类和回归

1.8 总 结

第2章 神经网络

2.1 概 述

2.2 神经网络节点

2.3 多层神经网络

2.4 神经网络的监督学习

2.5 单层神经网络训练:增量规则

2.6 广义增量规则

2.7 随机梯度下降算法、批量算法和小批量算法

2.7.1 随机梯度下降算法

2.7.2 批量算法

2.7.3 小批量算法

2.8 示例:增量规则

2.8.1 随机梯度下降算法的实现

2.8.2 批量算法的实现

2.8.3 随机梯度下降算法与批量算法的比较

2.9 单层神经网络的局限性

2.10 总 结

第3章 训练多层神经网络

3.1 概 述

3.2 反向传播算法

3.3 示 例

3.3.1 XOR问题

3.3.2 动量法(Momentum)

3.4 代价函数和学习规则

3.5 示 例

3.5.1 交叉熵函数

3.5.2 代价函数的比较

3.6 总 结

第4章 神经网络及其分类

4.1 概 述

4.2 二分类

4.3 多分类

4.4 示例:多分类

4.5 总 结

第5章 深度学习

5.1 概 述

5.2 深度神经网络的进化

5.2.1 梯度消失

5.2.2 过拟合

5.2.3 计算量的增加

5.3 示 例

5.3.1 ReLU 函数

5.3.2 节点丢弃

5.4 总 结

第6章 卷积神经网络

6.1 概 述

6.2 卷积神经网络的架构

6.3 卷积层

6.4 池化层

6.5 示例:MNIST

6.6 总 结

索 引 

序 言

我有幸见证了世界向信息化社会的转变过程,随之而来的就是一个网络化的环境。我从小就生活在这种变革中。个人计算机的发明打开了人类通向信息世界的大门,接着就是互联网将计算机连接了起来,智能手机将人与人联系了起来。现在,每个人都意识到人工智能的浪潮已经到来。越来越多的智能服务即将被发明出来,同时这也将把我们带入一个新的智能时代。深度学习是引领这股智能浪潮的前沿技术。虽然它终可能将其宝座

移交给其他新技术,但是目前它仍是各种人工智能新技术的重要基石。

深度学习如此流行,以至于关于它的资料随处可见。然而适用于初学者的资料并不多见。我编写这本书的目的是希望帮助初学者在学习这个新知识的过程中不那么痛苦,因为我曾体验过这种痛苦,同时也希望本书中具体的开发实例讲解能够帮助初学者避免我曾经遇到的困惑。

本书主要考虑了两类读者。类是准备系统地学习深度学习以进一步研究和开发的读者。这类读者需要从头到尾阅读本书内容,其中的示例代码将更加有助于进一步理解本书所讲的内容。我为提供恰当的例子并加以实现做出了很大的努力,同时为了使编写的代码易于阅读和理解,均将它们用MATLAB编写而成。在简单和直观性上,没有任何语言比MATLAB更易于处理深度学习中的矩阵。示例代码仅采用了基本的函数和语法,以便不熟悉MATLAB的读者也能容易理解和分析里面的概念。对于熟悉编程的读者来说,代码可能比文字更容易理解。

第二类是想比从杂志或报纸上获得更深入的深度学习信息,但不必进行实际研究的读者。这类读者可以跳过代码,只需简要地阅读对这些概念的解释即可;也可以跳过神经网络的学习规则这部分内容。实际上,因为很容易获取各种深度学习库,甚至开发者很少需要亲自实现这些学习规则,因此,对于那些从不想开发深度学习的人员,不必担心本书内容的难度。但是请重点关注第1章、第2章(第2.1~2.4节)、第5章和第6章的内容。特别是第6章,即使只是阅读其概念和示例结果,也有助于理解深度学习的大多数重要技术。为了提供理论背景,本书中偶尔会出现一些方程,但它们只是基础的运算。阅读和学习你能忍受的内容终将让你对这些概念有个全面的理解。

本书结构

本书共包含6章内容,可以分为3个主题。

第1个主题是机器学习,这是第1章的内容。深度学习起源于机器学习,这意味着如果想要理解深度学习的本质,就必须在某种程度上知道机器学习背后的理念。第1章从机器学习与深度学习的关系开始讲起,随后是解决问题的策略和机器学习的基本局限性。此处仅涵盖了神经网络和深度学习的基本概念,并没有详细介绍技术本身。

第2个主题是人工神经网络,这是第2~4章的重点内容。由于深度学习就是采用一种神经网络的机器学习,所以不能将神经网络与深度学习分开。第2章从神经网络的基本概念讲起:它的工作原理、体系结构和学习规则,也讲到了神经网络由简单的单层结构演化为复杂的多层结构的原因。

第3章介绍了反向传播算法,它是神经网络中一种重要和典型的学习规则,深度学习也使用这种算法。本章解释了代价函数和学习规则是如何联系起来的,哪一种代价函数在深度学习中被广泛使用。第4章介绍了将神经网络应用到分类问题中的方法。其中单列一节专门讲分类,因为它是目前流行的一种深度学习应用。例如图像识别是一个分类问题,也是深度学习的一种主要应用。

第3个主题是深度学习,也是本书的重点,将在第5章和第6章中讲解。第5章介绍了使深度学习能够产生卓越性能的驱动因素。为了有助于更好地理解,本章先谈了深度学习的发展历程,包括它遇到的障碍及解决办法。第6章讲解了卷积神经网络,它是深度学习的代表性技术。卷积神经网络在图像识别领域是首屈一指的技术。本章首先介绍了卷积神经网络的基本概念和结构,并与前面的图像识别算法进行了比较;随后解释了卷积层和池化层的作用和运算方法,它们是卷积神经网络的重要组成部分。第6章也包含了一个用卷积神经网络进行数字图像识别的例子,并研究了图像通过各层的演化过程。

示例代码

本书中的全部代码和数据都能通过下面的链接获取,这些例子都通过了MATLAB 2014的测试,并且不需要额外的工具箱,链接地址是github.com/philbooks/Deep-Learning-for-Beginners

致 谢

实际上,我认为大部分书籍的致谢都与读者无关,然而我还是准备按惯例写下一些感谢的话语,因为许多人和事对我来说都很特别。首先,我对在Modulabs共同学习深度学习的朋友们深表感谢,我所知道的大部分深度学习知识都来源于他们;并且我还要感谢我的导师S. Kim,是他接受我,把我领进了这个奇妙的领域,共度春夏秋冬,我才能在Modulabs完成本书的大部分内容。

同时我也感谢来自Bogonet的Jeon主席,来自KARI的H. You博士、Y.S. Kang博士和J.H. Lee先生,来自Modulabs的S. Kim 导师,来自J.
MARPLE的W. Lee先生和S. Hwang先生,他们都花了很多时间和精力来阅读和修改我的书稿,他们在整个修改过程中提出了很多建议,虽然这也给了我一段艰难的时光,但只有这样我现在才能毫无遗憾地完成本书。

后,我把深的感谢和爱献给我的妻子,她是我此生遇到的好的女人;我也爱我的孩子,他们从来不会厌倦我,并且与我分享了珍贵的回忆。