Hadoop/Spark大数据机器学习

人类已进入大数据时代。大数据是指具有海量（volume）、多模态（variety）、变化速度快（velocity）、蕴含价值高（value）和不精确性高（veracity）“5V”特征的数据。大数据给传统的机器学习带来巨大的挑战，已引起学术界和工业界的高度关注。Hadoop和Spark正是在这种背景下产生的两个大数据开源平台。《Hadoop/Spark大数据机器学习》重点介绍基于这两种大数据开源平台的机器学习，包括机器学习概述、大数据与大数据处理系统、Hadoop分布式文件系统HDFS、Hadoop并行编程框架MapReduce、Hadoop大数据机器学习和Spark大数据机器学习。

目录
前言
第1章 机器学习概述 1
1.1 分类与聚类 1
1.1.1 分类 1
1.1.2 聚类 4
1.2 K-近邻算法与模糊K-近邻算法 7
1.2.1 K-近邻算法 7
1.2.2 模糊K-近邻算法 8
1.3 K-均值算法与模糊K-均值算法 10
1.3.1 K-均值算法 10
1.3.2 模糊K-均值算法 12
1.4 决策树算法 13
1.4.1 离散值决策树算法 13
1.4.2 连续值决策树算法 25
1.5 神经网络 31
1.5.1 神经元模型 32
1.5.2 梯度下降算法 33
1.5.3 多层感知器模型 35
1.6 极限学习机 40
1.7 支持向量机 42
1.7.1 线性可分支持向量机 42
1.7.2 近似线性可分支持向量机 46
1.7.3 线性不可分支持向量机 47
1.8 主动学习 49
第2章 大数据与大数据处理系统 53
2.1 大数据及其特征 53
2.2 Linux操作系统简介 54
2.2.1 Linux版本 54
2.2.2 Linux的文件与目录 56
2.2.3 Linux用户与用户组 62
2.2.4 Linux系统软件包管理 65
2.2.5 Linux操作系统的安装 66
2.3 大数据处理系统Hadoop 79
2.3.1 什么是Hadoop 79
2.3.2 Hadoop的特性 82
2.3.3 Hadoop的体系结构 82
2.3.4 Hadoop的运行机制 83
2.3.5 Hadoop 1.0和Hadoop 2.0的区别 85
2.3.6 Hadoop的安装及大数据处理环境的架构 87
2.4 大数据处理系统Spark 95
2.4.1 什么是Spark 95
2.4.2 Spark的运行架构 96
2.4.3 Spark的工作机制 97
第3章 Hadoop分布式文件系统HDFS 106
3.1 HDFS概述 106
3.1.1 HDFS的优势 106
3.1.2 HDFS的局限性 107
3.2 HDFS的系统结构 107
3.3 HDFS的数据存储 111
3.3.1 数据块的存放策略 111
3.3.2 数据的读取策略 112
3.3.3 文件系统元数据的持久性 114
3.3.4 HDFS的鲁棒性 114
3.4 访问HDFS 116
3.4.1 通过文件系统Shell访问HDFS 116
3.4.2 通过文件系统Java API访问HDFS 120
3.5 HDFS读写数据的过程 132
3.5.1 HDFS读数据的过程 132
3.5.2 HDFS写数据的过程 133
第4章 Hadoop并行编程框架MapReduce 135
4.1 MapReduce概述 135
4.2 MapReduce的大数据处理过程 136
4.2.1 Map阶段 137
4.2.2 Shu2e阶段 138
4.2.3 Reduce阶段 140
4.3 一个例子:流量统计 141
4.4 MapReduce的系统结构 144
4.5 MapReduce的作业处理过程 146
4.6 MapReduce算法设计 147
4.6.1 大数据决策树算法设计 147
4.6.2 大数据极限学习机算法设计 150
第5章 Hadoop大数据机器学习 152
5.1 基于Hadoop的大数据K-近邻算法 155
5.1.1 大数据K-近邻算法的基本思想 155
5.1.2 大数据K-近邻算法的MapReduce编程实现 156
5.2 基于Hadoop的大数据极限学习机 170
5.2.1 大数据极限学习机的基本思想 170
5.2.2 大数据极限学习机的MapReduce编程实现 170
5.3 基于Hadoop的大数据主动学习 191
5.3.1 大数据主动学习的基本思想 191
5.3.2 大数据主动学习的MapReduce编程实现 192
第6章 Spark大数据机器学习 201
6.1 SparkMLlib 201
6.1.1 MLlib决策树算法 201
6.1.2 MLlib决策森林算法 204
6.1.3 MLlib K-means算法 207
6.1.4 主成分分析 210
6.2 基于Spark的大数据K-近邻算法 212
6.3 基于Spark的大数据主动学习 218
参考文献 238