机器学习入门与实战——Python实践应用

本书配套资源丰富，包括教学大纲、教学课件、电子教案、程序源码、习题答案，作者还为本书精心录制了600分钟的微课视频。

 

本书主要介绍经典的机器学习算法的原理和改进，以及Python的实例实现。本书的内容可以分成三部分： 第一部分是机器学习概念篇（第1章），充分介绍机器学习的相关概念，并且对机器学习的各种算法进行分类，以便读者对机器学习的知识框架有整体的了解，从而在后续的学习中更容易接受机器学习涉及的各类算法； 第二部分是Python机器学习基础篇（第2章和第3章），简单介绍Python的基本使用方法、机器学习库scikitlearn和人工智能工具集OpenAI Gym； 第三部分是机器学习算法与Python实践篇（第4~19章），对监督学习、无/非监督学习、强化学习三大类常用算法逐一讲解，包括机器学习算法的原理、算法的优缺点、算法的实例解释以及Python的实践应用。 本书适合对人工智能、机器学习感兴趣的读者，希望用机器学习完成设计的计算机或电子信息专业的学生，准备开设机器学习、深度学习实践课的授课老师，学习过C语言，且希望进一步提高编程水平的开发者，刚从事机器学习、语音、机器视觉、智能机器人研发的算法工程师阅读。

 

第一部分机器学习概念篇

第1章机器学习基础

1.1机器学习概述

1.1.1机器学习概念

1.1.2机器学习的发展史

1.1.3机器学习的用途

1.1.4机器学习、数据挖掘及人工智能的关系

1.2机器学习的基本术语

1.3机器学习的任务及算法分类

1.4如何学习和运用机器学习

1.4.1软件平台的选择

1.4.2机器学习应用的实现流程

1.5数据预处理

1.5.1数据选取

1.5.2数据清理

1.5.3数据集成

1.5.4数据变换

1.5.5数据归约

本章参考文献

第二部分Python机器学习基础篇

第2章Python基础入门

2.1Python的安装方法

2.2Python学习工具介绍

2.2.1PyCharm的安装

2.2.2PyCharm界面介绍

2.2.3PyCharm例程的运行

2.3Python语法介绍

2.3.1语法的基本注意事项

2.3.2运算符

2.3.3基本语句

2.4Python基本绘图

2.4.1建立空白图

2.4.2散点图

2.4.3函数图

2.4.4扇形图

2.4.5柱状图

2.4.6三维散点

2.4.7三维曲线

2.4.8三维曲面

本章参考文献

 

 

第3章Python机器学习工具箱

3.1机器学习的利器——scikitlearn

3.1.1scikitlearn的基础知识

3.1.2scikitlearn的安装

3.1.3基本功能的介绍

3.2强化学习的利器——OpenAI Gym

本章参考文献

第三部分机器学习算法与Python实践篇

第4章k近邻算法

4.1k近邻算法的原理

4.1.1k近邻算法的实例解释

4.1.2k近邻算法的特点

4.2基于k近邻算法的算法改进

4.2.1快速KNN算法

4.2.2kd树KNN算法 

4.3k近邻算法的Python实践

本章参考文献

第5章决策树

5.1决策树算法概述

5.1.1决策树算法的基本原理

5.1.2决策树算法的特点

5.1.3决策树剪枝

5.1.4分类决策树与回归决策树

5.2基于决策树算法的算法改进

5.2.1ID3决策树

5.2.2C4.5决策树

5.2.3分类回归树

5.2.4随机森林

5.3决策树算法的Python实现

本章参考文献

第6章支持向量机

6.1支持向量机算法概述

6.1.1支持向量机概述

6.1.2支持向量机算法及推导

6.1.3支持向量机的核函数

6.2改进的支持向量机算法

6.3支持向量机算法的Python实践

本章参考文献

第7章朴素贝叶斯

7.1贝叶斯定理

7.2朴素贝叶斯分类算法

7.3朴素贝叶斯实例分析

7.4朴素贝叶斯分类算法的改进

7.4.1半朴素贝叶斯分类模型

7.4.2树增强朴素贝叶斯分类模型

7.4.3贝叶斯网络

7.4.4朴素贝叶斯树

7.4.5属性加权朴素贝叶斯分类算法

7.5朴素贝叶斯算法的Python实践

本章参考文献

第8章线性回归

8.1线性回归的原理

8.1.1简单线性回归 

8.1.2线性回归实例

8.2多元线性回归

8.3线性回归算法的Python实践

本章参考文献

第9章逻辑回归

9.1逻辑回归的原理

9.1.1Sigmoid函数

9.1.2梯度下降法

9.2逻辑回归及公式推导

9.2.1公式推导

9.2.2向量化

9.2.3算法的步骤

9.2.4逻辑回归的优缺点

9.3逻辑回归算法的改进

9.3.1逻辑回归的正则化

9.3.2主成分改进的逻辑回归方法

9.4逻辑回归的Python实践

本章参考文献

第10章神经网络

10.1神经网络算法概述

10.1.1神经网络的工作原理

10.1.2神经网络的特点

10.1.3人工神经元模型

10.2前向神经网络

10.2.1感知器

10.2.2BP算法

10.3基于神经网络的算法扩展

10.3.1深度学习

10.3.2极限学习机

10.4神经网络的Python实践

本章参考文献

第11章AdaBoost算法

11.1集成学习方法简介

11.1.1集成学习方法的分类

11.1.2集成学习之Boosting算法

11.2AdaBoost算法概述

11.2.1AdaBoost算法的思想

11.2.2AdaBoost算法的理论推导

11.2.3AdaBoost算法的步骤

11.2.4AdaBoost算法的特点

11.2.5通过实例理解AdaBoost算法

11.3AdaBoost算法的改进

11.3.1Real AdaBoost算法

11.3.2Gentle AdaBoost算法

11.3.3LogitBoost算法

11.4AdaBoost算法的Python实践

本章参考文献

第12章k均值算法

12.1k均值算法概述

12.1.1k均值算法的基本原理

12.1.2k均值算法的实现步骤 

12.1.3k均值算法的实例

12.1.4k均值算法的特点

12.2基于k均值算法的改进

12.2.1改进k值选取方式的k均值改进算法

12.2.2改进初始聚类中心选择方式的k均值改进算法

12.3k均值算法的Python实践

本章参考文献

第13章期望最大化算法

13.1EM算法

13.1.1EM算法的思想

13.1.2似然函数和极大似然估计

13.1.3Jensen不等式

13.1.4EM算法的理论和公式推导

13.1.5EM算法的收敛速度

13.1.6EM算法的特点

13.2EM算法的改进

13.2.1Monte Carlo EM算法

13.2.2ECM算法

13.2.3ECME算法

13.3EM算法的Python实践

本章参考文献

第14章k中心点算法

14.1经典k中心点算法——PAM算法

14.1.1PAM算法的原理

14.1.2PAM算法的实例

14.1.3PAM算法的特点

14.2k中心点算法的改进

14.3k中心点算法的Python实践 

本章参考文献

第15章关联规则挖掘的Apriori算法

15.1关联规则概述

15.1.1关联规则的基本概念

15.1.2关联规则的分类

15.2Apriori算法的原理

15.3Apriori算法的改进

15.3.1基于分片的并行方法

15.3.2基于hash的方法

15.3.3基于采样的方法 

15.3.4减少交易个数的方法

15.4Apriori算法的Python实践

本章参考文献

第16章高斯混合模型算法

16.1高斯混合模型的原理

16.1.1单高斯模型

16.1.2高斯混合模型

16.1.3模型的建立

16.1.4模型参数的求解

16.2高斯混合模型算法的Python实践

本章参考文献

第17章DBSCAN算法

17.1DBSCAN算法概述

17.1.1DBSCAN算法的基本概念

17.1.2DBSCAN算法的原理

17.1.3DBSCAN算法的实现步骤

17.1.4DBSCAN算法的优缺点

17.2DBSCAN算法的改进

17.2.1DPDGA算法

17.2.2并行DBSCAN算法

17.3DBSCAN算法的Python实践

本章参考文献

第18章策略迭代和值迭代

18.1基本概念

18.1.1强化学习的基本模型

18.1.2马尔可夫决策过程

18.1.3策略

18.1.4值函数

18.1.5贝尔曼方程

18.2策略迭代算法的原理

18.3值迭代算法的原理

18.4策略迭代和值迭代算法的Python实践

18.4.1FrozenLake问题

18.4.2OpenAI Gym库的介绍

18.4.3FrozenLake环境的实现过程

18.4.4策略迭代算法的实现

18.4.5值迭代算法的实现

本章参考文献

第19章SARSA算法和Q学习算法

19.1SARSA算法的原理

19.2SARSA算法的Python实践

19.2.1迷宫问题

19.2.2SARSA算法的实现

19.3Q学习算法的原理

19.4Q学习算法的Python实践

本章参考文献

 

 

近年来，随着计算机技术及互联网技术的发展，人工智能技术也取得了重要的突破。作为人工智能的核心技术，机器学习已经广泛地应用于各行各业中，如图像识别、语言识别、文本分类、智能推荐、网络安全等。未来，伴随着信息技术的进一步发展，机器学习技术将会更加深入地应用到生产、生活的方方面面。

机器学习是高校计算机、电子信息、工商管理、金融分析等相关专业的必修课程。在学习机器学习之初，不少读者被其中的大量数学公式或众多算法名称吓得退避三舍，进而迷茫和无从下手，主要原因在于学习相关算法前，未对各类算法进行框架式的分类，或者未结合实例进行算法的理解。
针对上述问题，本书将分三部分介绍。第一部分为机器学习概念篇（第1章），为读者构建机器学习方法的基本概念、方法分类、基本处理流程等；第二部分为Python机器学习基础篇（第2章和第3章），为读者详细讲解如何使用Python语言及相应的工具包实现机器学习算法； 第三部分为机器学习算法与Python实践篇（第4~19章），依次讲解常用的机器学习算法，包括算法推导过程、算法优缺点、Python实例等。

本书特点： 

（1） 内容循序渐进，从基础概念到分类，再到详细讲解，便于读者构建知识体系。

（2） 算法讲解由浅入深，重点突出，通俗易懂。

（3） 理论与实践结合，通过大量实例阐述各类算法的基本原理，使读者不仅掌握理论知识，而且掌握实用案例。

（4） 本书配套提供了实例源代码，扫描目录上方的二维码可以下载。

本书的出版得到了清华大学出版社工作人员的大力支持，作者在此表示衷心的感谢。此外，学术界、产业界同仁们的不断探索推动机器学习技术走到今天，本书的完成得力于此，作者在此一并表示衷心感谢。

一方面，机器学习内容极为庞大和复杂，存在大量的交叉算法，且依据的应用领域不同，不同的算法也会有不同的表现； 另一方面，机器学习领域的发展极其迅速，不断取得新的研究成果。因此，作者只能尽力将现有机器学习的框架关系以及主要算法原理和其实现展现给读者，以起到抛砖引玉的作用，给机器学习的初学者提供一定的指导。读者在后期的机器学习中需要阅读大量的文献，并在实践中进行摸索。

由于作者学识有限，本书疏漏和不当之处在所难免，敬请读者和同行们批评、指正。

 

作者2023年3月