机器学习之路——Caffe、Keras、scikit-learn实战

都说这年头不会点机器学习不好意思出门，但高深的数学理论，复杂的算法又让很多人忘而却步，不知从何下手，《机器学习篇》绕过理论障碍，打通了一条由浅入深的机器学习之路。

丰富的实战案例讲解，介绍如何将机器学习技术运用到股票量化交易、图片渲染、图片识别等领域。

 

机器学习需要一条脱离过高理论门槛的入门之路。本书《机器学习篇》从小红帽采蘑菇的故事开篇，介绍了基础的机器学习分类模型的训练（第1章）。如何评估、调试模型？如何合理地发掘事物的特征？如何利用几个模型共同发挥作用？后续章节一步一步讲述了如何优化模型，更好地完成分类预测任务（第2章），并且初步尝试将这些技术运用到金融股票交易中（第3章）。自然界*好的非线性模型莫过于人类的大脑。《深度学习篇》从介绍并对比一些常见的深度学习框架开始（第4章），讲解了DNN模型的直观原理，尝试给出一些简单的生物学解释，完成简单的图片识别任务（第5章）。后续章节在此基础上，完成更为复杂的图片识别CNN模型（第6章）。接着，本书展示了使用Caffe完成一个完整的图片识别项目，从准备数据集，到完成识别任务（第7章）。后面简单描述了RNN模型（第8章），接着展示了一个将深度学习技术落地到图片处理领域的项目（第9章）。

阿布：多年互联网金融技术从业经验，曾就职于奇虎360、百度互联网证券、百度金融等互联网型金融公司，现自由职业，个人量化交易者，擅长个人中小资金量化交易领域系统开发，以及为中小型量化私募资金提供技术解决方案、技术支持、量化培训等工作。|

胥嘉幸：北京大学硕士，先后就职于百度金融证券、百度糯米搜索部门。多年致力于大数据机器学习方面的研究，有深厚的数学功底和理论支撑。在将机器学习技术融于传统金融量化领域方面颇有研究。

篇 机器学习篇
第1 章 初识机器学习 ………………………………………………………………………… 2
1.1 机器学习——赋予机器“学习”的灵魂 …………………………………………………………… 2
1.1.1 小红帽识别毒蘑菇 ……………………………………………………………………………………………………. 2
1.1.2 三种机器学习问题 ……………………………………………………………………………………………………. 6
1.1.3 常用符号 …………………………………………………………………………………………………………………. 6
1.1.4 回顾 ………………………………………………………………………………………………………………………… 7
1.2 KNN——相似的邻居请投票 ……………………………………………………………………………. 7
1.2.1 模型原理 …………………………………………………………………………………………………………………. 7
1.2.2 鸢尾花卉数据集（IRIS） …………………………………………………………………………………………. 9
1.2.3 训练模型 …………………………………………………………………………………………………………………. 9
1.2.4 评估模型 ……………………………………………………………………………………………………………….. 12
1.2.5 关于KNN ………………………………………………………………………………………………………………. 14
1.2.6 运用KNN 模型 ………………………………………………………………………………………………………. 15
1.2.7 回顾 ………………………………………………………………………………………………………………………. 16
1.3 逻辑分类I：线性分类模型 ……………………………………………………………………………. 16
1.3.1 参数化的模型 ………………………………………………………………………………………………………… 16
1.3.2 逻辑分类：预测……………………………………………………………………………………………………… 18
1.3.3 逻辑分类：评估……………………………………………………………………………………………………… 22
1.3.4 逻辑分类：训练……………………………………………………………………………………………………… 23
1.3.5 回顾 ………………………………………………………………………………………………………………………. 24
1.4 逻辑分类II：线性分类模型 …………………………………………………………………………… 24
1.4.1 寻找模型的权重……………………………………………………………………………………………………… 24
VI ?O 机器学习之路——Caffe、Keras、scikit-learn 实战
1.4.2 去均值和归一化……………………………………………………………………………………………………… 31
1.4.3 实现 ………………………………………………………………………………………………………………………. 33
1.4.4 回顾 ………………………………………………………………………………………………………………………. 34
第2 章 机器学习进阶 ………………………………………………………………………. 35
2.1 特征工程 ………………………………………………………………………………………………………. 35
2.1.1 泰坦尼克号生存预测 ………………………………………………………………………………………………. 35
2.1.2 两类特征 ……………………………………………………………………………………………………………….. 38
2.1.3 构造非线性特征……………………………………………………………………………………………………… 41
2.1.4 回顾 ………………………………………………………………………………………………………………………. 45
2.2 调试模型 ………………………………………………………………………………………………………. 46
2.2.1 模型调试的目标……………………………………………………………………………………………………… 46
2.2.2 调试模型 ……………………………………………………………………………………………………………….. 49
2.2.3 回顾 ………………………………………………………………………………………………………………………. 52
2.3 分类模型评估指标 ………………………………………………………………………………………… 53
2.3.1 混淆矩阵系指标……………………………………………………………………………………………………… 53
2.3.2 评估曲线 ……………………………………………………………………………………………………………….. 58
2.3.3 回顾 ………………………………………………………………………………………………………………………. 61
2.4 回归模型 ………………………………………………………………………………………………………. 61
2.4.1 回归与分类 ……………………………………………………………………………………………………………. 61
2.4.2 线性回归 ……………………………………………………………………………………………………………….. 62
2.4.3 波士顿房价预测……………………………………………………………………………………………………… 66
2.4.4 泰坦尼克号生存预测：回归预测特征年龄Age ………………………………………………………… 69
2.4.5 线性模型与非线性模型 …………………………………………………………………………………………… 72
2.4.6 回顾 ………………………………………………………………………………………………………………………. 73
2.5 决策树模型 …………………………………………………………………………………………………… 73
2.5.1 信息与编码 ……………………………………………………………………………………………………………. 74
2.5.2 决策树 …………………………………………………………………………………………………………………… 76
2.5.3 对比线性模型和决策树模型的表现 …………………………………………………………………………. 77
2.5.4 回顾 ………………………………………………………………………………………………………………………. 79
2.6 模型融合 ………………………………………………………………………………………………………. 80
2.6.1 融合成群体（Ensamble） ……………………………………………………………………………………….. 80
2.6.2 Bagging：随机森林（Random Forest） ……………………………………………………………………. 82
目录 ?O VII
2.6.3 Boosting：GBDT ……………………………………………………………………………………………………. 83
2.6.4 Stacking …………………………………………………………………………..

　　前言

　　越来越多的人期待能挤进机器学习这一行业，这些人往往有一些编程和自学能力，但数学等基础理论能力不足。对于这些人群，从头开始学习概率统计等基础学科是痛苦的，如果直接上手使用机器学习工具往往又感到理解不足，缺少点什么。本书就是面向这一人群，避过数学推导等复杂的理论推衍，介绍模型背后的一些简单直观的理解，以及如何上手使用。本书希望能够得到这些人的喜爱。

　　本书包含两部分：机器学习篇和深度学习篇。

　　机器学习篇（1～3 章）主要从零开始，介绍什么是数据特征，什么是机器学习模型，如何训练模型、调试模型，以及如何评估模型的成绩。通过一些简单的任务例子，讲解在使用模型时如何分析并处理任务数据的特征，如何组合多个模型共同完成任务，并在第3章初步尝试将机器学习技术运用到股票交易中，重复熟悉这些技术的同时，感受机器学习技术在落地到专业领域时常犯的错误。

　　深度学习篇（4～9 章）则主要介绍了一些很基础的深度学习模型，如DNN、CNN等，简单涵盖了一些RNN 的概念描述。我们更关注模型的直观原理和背后的生物学设计理念，希望读者能够带着这些理解，直接上手应用深度学习框架。说一点关于阅读本书的建议。本书在编写时不关注模型技术的数学推导及严谨表述，转而关注其背后的直观原理理解。建议读者以互动执行代码的方式学习，所有示例使用IPython Notebook 编写。读者可在Git 上找到对应章节的内容，一步一步运行书中讲解的知识点，直观感受每一步的执行效果。具体代码下载地址：https://github.com/bbfamily/abu。

　　本书适合有Python 编程能力的读者。如果读者有简单的数学基础，了解概率、矩阵则更佳。使用过Numpy、pandas 等数据处理工具的读者读起来也会更轻松，但这些都不是必需的。如果读者缺乏Python 编程能力，或者希望进一步获得Numpy、pandas 等工具使用相关的知识，可以关注公众号：abu_quant，获得一些技术资料及文章。

　　感谢出版社提供机会让我们编写本书，感谢编辑不辞辛苦地和我沟通排版等细节问题。

　　本书的完成同样需要感谢我们的几位朋友：吴汶（老虎美股）、刘兆丹（百度金融），感谢你们在本书编写作过程中提供的有力支持。感谢本书的试读人员：蔡志威、李寅龙。