描述
开 本: 16开纸 张: 胶版纸包 装: 平装-胶订是否套装: 否国际标准书号ISBN: 9787121326349丛书名: 高级大数据人才培养丛书
全面介绍了来自统计分析、机器学习、人工智能等领域的多种数据分析算法,在讲解与之相关的 R代码时,还讨论了这些算法的原理、优缺点与适用背景。本书按照由易到难的原则组织章节主题,读者将获得*好的阅读体验。
第1章?R的基本介绍 1
1.1?强大的R 1
1.2?R语言在大数据中的应用 2
1.2.1?R语言用户行为分析 2
1.2.2?R语言处理金融大数据 3
1.2.3?R语言天气数据可视化 4
1.2.4?R语言医疗大数据分析 4
1.3?R的安装与启动 5
1.3.1?安装并启动R 6
1.3.2?安装并启动一个IDE 7
1.4?R的向量、矩阵和数组 8
1.4.1?向量的操作方法和固有属性 8
1.4.2?矩阵的操作和运算 10
1.4.3?数组中的维度函数 13
1.5?R的列表和数据框 14
1.5.1?列表的特性和编辑方法 14
1.5.2?数据框的创建和基本操作 17
1.6?R数据文件的载入和载出 19
1.6.1?结构化纯文本文件的读取和输出 19
1.6.2?其他文件的读取和输出 22
1.7?向R中安装包 23
第2章?原始数据的探索与预处理 26
2.1?度量数据集的集中程度 26
2.2?度量数据集的分散程度 27
2.2.1?极值、方差和标准差 27
2.2.2?标准误和偏度系数、峰度系数 29
2.3?创建一个数值摘要表 30
2.4?异常值的观测与说明 32
2.4.1?利用箱线图观测异常值并处理 32
2.4.2?异常值检测的其他情况和说明 34
2.5?缺失值的填补与处理 35
2.5.1?删除缺失值或对其进行简单填补 36
2.5.2?按照相关性对空缺值进行填补 38
第3章?R的数据可视化 40
3.1?plot()函数和常用的图形参数 40
3.1.1?设置plot()函数中的参数 40
3.1.2?修改散点图的坐标并加入标注 43
3.2?经典的基础图形及用途 45
3.2.1?线图 45
3.2.2?直方图 49
3.2.3?箱线图和茎叶图 52
3.3?将图形组合起来 55
3.4?更多的高水平作图函数 57
3.5?更多的常用作图命令 59
第4章?R中参数的估计和检验 62
4.1?使用R进行点估计和区间估计 62
4.1.1?简单的点估计和区间估计 62
4.1.2?估计单侧置信区间 65
4.2?与正态总体有关的参数检验 68
4.3?列联表与独立性检验 71
4.4?几种检验数据分布的函数 72
4.5?对非正态总体的区间估计和检验 75
4.5.1?非正态总体的区间估计 75
4.5.2?非参数检验中的符号检验 76
4.5.3?非参数检验中的秩检验 78
第5章?R中的方差分析 80
5.1?方差分析模型的建立 80
5.2?单因素方差分析 81
5.2.1?单因素方差分析的数学思想与模型 81
5.2.2?检验样本是否满足方差分析的假设条件 82
5.2.3?构建单因素方差分析模型 84
5.3?多因素方差分析 87
5.3.1?多因素方差分析的数学思想与模型 87
5.3.2?不考虑交互作用的双因素方差分析 88
5.3.3?考虑交互作用的双因素方差分析 89
5.4?秩检验和协方差分析 91
5.4.1?对控制变量应用秩检验方法 91
5.4.2?协方差分析的假设与应用 92
第6章?R中的相关分析和回归分析 94
6.1?多种相关系数的度量和分析 94
6.1.1?简单相关系数的计算和检验 94
6.1.2?散布矩阵图和偏相关系数 96
6.1.3?典型相关分析 98
6.2?线性回归分析及其常规参数 99
6.2.1?对数据进行预处理 100
6.2.2?构建个回归模型 101
6.2.3?修正方程并检验残差 102
6.3?使用逐步回归筛选自变量 104
6.3.1?逐步回归的思想与分类 104
6.3.2?构建逐步回归模型 105
6.4?哑变量和逻辑回归 107
6.4.1?哑变量和逻辑回归的思想 107
6.4.2?向线性回归模型中纳入哑变量 108
第7章?更高级的数据可视化 110
7.1?基础图形的拓展与延伸 110
7.1.1?绘制分类散点图并添加图标 110
7.1.2?绘制含多种类别的密度分布图 112
7.1.3?复合条形图和堆栈条形图 114
7.2?有关多元分布函数的特殊图形 117
7.2.1?星图和脸谱图 117
7.2.2?轮廓图 120
7.2.3?调和曲线图 122
7.3?建立简单的3D图形 123
7.4?如何让图形更美观 125
7.5?更多的绘图包和系统 128
第8章?R中的聚类分析和判别分析 129
8.1?几种聚类分析的异同 129
8.2?使用R实现KNN聚类 130
8.2.1?KNN算法的思想和模型 130
8.2.2?使用R实现KNN聚类 131
8.3?使用R实现系统聚类 133
8.3.1?系统聚类的思想和模型 133
8.3.2?使用R实现系统聚类 134
8.4?使用R实现快速聚类 136
8.4.1?快速聚类的思想和模型 136
8.4.2?使用R实现快速聚类 137
8.5?几种判别分析模型综述 140
8.5.1?距离判别模型 140
8.5.2?Fisher判别模型 142
第9章?R中的主成分分析和因子分析 145
9.1?主成分分析的实现与应用 145
9.1.1?主成分分析的模型假设和数据处理 145
9.1.2?构造一个主成分分析模型 147
9.1.3?计算主成分的综合得分 149
9.2?因子分析的初次构建与完善 150
9.2.1?构造一个简单的因子分析模型 150
9.2.2?计算因子得分并分析 152
9.3?对因子分析模型进行修正 153
9.3.1?修改因子分析模型中的因子个数 153
9.3.2?基于主成分法和主轴因子法进行因子分析 155
9.4?在降维分析的基础上进行回归分析和聚类分析 157
9.4.1?在降维分析的基础上进行回归分析 157
9.4.2?在降维分析的基础上进行聚类分析 160
第10章?R中的广义线性回归模型 162
10.1?一般的广义线性回归模型 162
10.1.1?使用二次函数拟合线性回归模型 162
10.1.2?拟合更多的广义线性模型 164
10.1.3?比较线性模型的优劣 166
10.2?Logistic线性回归模型 168
10.2.1?Logistic模型的原理与构建方法 168
10.2.2?Logistic模型的显著性检验和优势比 170
10.2.3?修正被警告的Logistic模型 171
10.3?泊松回归分析模型 173
10.3.1?拟合个泊松回归模型 174
10.3.2?泊松回归模型的过散布检验 176
10.4?广义线性模型的交叉验证 178
第11章?R中的时间序列模型 180
11.1?将数据转换为时间序列格式 180
11.1.1?使用ts()函数转换数据格式并绘制时间序列曲线 180
11.1.2?使用zoo()函数转换数据格式并绘制时间序列曲线 182
11.2?分解时间序列并检验时间序列的自相关性 185
11.2.1?使用经典方法分解时间序列 185
11.2.2?使用STL方法分解时间序列 186
11.3?探究时间序列的自相关性 188
11.3.1?使用月图和季度图探究自相关性 188
11.3.2?使用散点图探究自相关性 189
11.4?构建时间序列并预测 191
11.4.1?均值预测、单纯预测和漂移 192
11.4.2?不考虑长期趋势和季节波动的简单指数平滑 195
11.4.3?在指数平滑中加入长期趋势和季节波动 196
11.4.4?自回归移动平均模型 198
第12章?R中的化问题 201
12.1?化问题简述 201
12.2?黄金分割法 202
12.2.1?黄金分割法和局部解 202
12.2.2?使用R实现黄金分割法 203
12.3?牛顿化方法 205
12.3.1?牛顿法的算法原理 206
12.3.2?在一维情形下实现牛顿迭代法 207
12.3.3?在多维情形下实现牛顿迭代法 209
12.4?快上升法 210
12.4.1?利用梯度求解上升快的相邻点 210
12.4.2?构建快上升法函数并检验 212
12.5?R中的化函数 213
第13章?使用R绘制地理信息图形 216
13.1?绘制世界、国家、省市地图 216
13.1.1?使用map()函数绘制地图 216
13.1.2?另一种绘制地图的方法 218
13.1.3?分省市绘制地图 220
13.2?向地图中添加颜色 222
13.2.1?向地图中添加颜色前的准备工作 222
13.2.2?在地图上添加颜色 224
13.3?向地图中添加标签和线条 226
13.3.1?向地图中添加标签前的准备工作 226
13.3.2?在地图上添加标签 228
13.3.3?在地图上添加线条 230
13.4?使用其他格式的文件优化地图 232
第14章?使用R构建支持向量机 236
14.1?构建一个简单的支持向量机 236
14.1.1?支持向量机的算法原理 236
14.1.2?构建一个简单的支持向量机 238
14.1.3?使用其他核函数构建支持向量机 241
14.2?优化支持向量机的参数 243
14.2.1?优化参数degree 244
14.2.2?优化参数cost 247
14.2.3?优化参数gamma 249
14.3?比较支持向量机与Logistic回归的优劣 252
14.4?比较支持向量机和KNN聚类算法的优劣 255
第15章?实现更高效的流程控制和高级循环 257
15.1?R中的流程控制 257
15.1.1?if语句的多种实现方法 257
15.1.2?ifelse语句与花括号的结合 258
15.1.3?适合多分支情况的switch语句 260
15.2?R中的for循环、while循环和repeat循环 262
15.2.1?R中的for循环和while循环 262
15.2.2?R中的repeat循环 264
15.3?apply家族中的循环函数 266
15.3.1?R中的apply()函数 266
15.3.2?R中的lapply()函数和sapply()函数 269
15.3.3?R中的tapply()函数 271
15.3.4?R中的mapply()函数 274
15.4?更多的高级循环函数 276
15.4.1?R中的replicate()函数和sweep()函数 276
15.4.2?R中的aggregate()函数 279
第16章?R代码的调试与优化 282
16.1?R代码的常见信息与警告 282
16.1.1?R代码的正常信息与警告 282
16.1.2?R代码中的警告处理方法 284
16.2?R代码中的错误与错误处理方法 285
16.2.1?使用try()函数处理错误信息 285
16.2.2?将try()函数与循环相结合 287
16.3?调试R代码 288
16.3.1?查看调用栈或暂停代码 288
16.3.2?修改error选项 290
16.4?向量化编程方法 291
16.4.1?向量化编程思想 291
16.4.2?比较循环和向量的运行速度 292
第17章?构建电影评分预测模型 295
17.1?获取数据并探索 295
17.2?利用recommenderlab包处理数据 297
17.3?建立模型并评估 299
17.3.1?模型的选择与建立 299
17.3.2?模型之间的比较和评估 301
第18章?贝叶斯垃圾邮件过滤器模型 303
18.1?贝叶斯模型中的条件概率 303
18.2?复杂的数据预处理过程 304
18.2.1?利用for循环读入多封邮件正文 304
18.2.2?利用tm包进一步转换数据格式 306
18.2.3?将TDM转换成真正有用的数据框 307
18.3?利用occurrece值构造分类器 309
18.3.1?完成理论准备并处理测试邮件和普通邮件 309
18.3.2?创建一个函数
前?言
R语言是如今热门的编程语言之一,它由统计学家开发,在解决数据分析问题时具有先天优势。R语言是一门新兴的语言,掌握它,就是掌握了一门高效的数据分析软件。随着大数据概念的普及,R语言能够实现的功能越来越丰富,越来越多的数据分析从业人员产生了对学习R的需求。本书迎合时代潮流,讲解了大数据时代下R语言渗透广泛的几个领域,全面介绍了如何使用R完成数据挖掘工作。对R语言编程人员来说,本书是一本不可或缺的工具书。
本书特色
1. 通俗易懂,实用性强,适合各层次读者学习
本书对读者的数学基础或编程基础不做任何要求。在讲解知识点时,本书采用了通俗易懂的语言,对每个疑难点都加以详细解释。此外,本书以实用为主旨,秉承“看得懂、学得会、用得上”的编写原则,精心选取了流行于行业前沿的18个主题,不仅通俗易懂,还确保读者所学的知识具有实际应用价值。通过阅读本书,任何读者都能迅速掌握R语言的编程技巧及相关的数据分析知识,并在实际工作中立刻应用它们。
2. 条理清晰,结构巧妙,全面盘点数据分析常用算法
数据分析是一个涉及多领域的交叉学科,R软件的触角同样也能伸展到多个领域。本书选取了统计分析、机器学习、人工智能等多个学科的流行算法作为主题,讲解了如何使用R语言实现它们。这些算法有些偏重数学思维,有些偏重编程技巧,本书主要遵循由易到难的顺序排列主题,并尽量把起源于同一学科的算法放在一起。读者可以按照顺序阅读本书,也可以优先选择感兴趣的部分。此外,本书还穿插介绍了与R软件相关的一些其他编程主题,这些主题共同形成知识网络,帮助读者迅速成长为能够独当一面的数据科学家。
3. 知识点丰富,可拓展性强,满足读者的多重需求
本书涉及多个学科,全面介绍了R软件能够实现的多种算法,满足了读者的三大需求:首先,使用通俗易懂的语言介绍R软件,帮助读者实现零基础入门;其次,囊括多种数据分析算法,带领读者全面认识R软件的强大之处,帮助读者成长为合格的数据科学家;后,本书具备较强的可拓展性,从事任何行业的读者都能够从本书中获取适合其行业的知识。本书还给出了R语言进阶的线索,无论想向哪一方面进阶,本书都能为读者打造坚实的基础。
本书内容及体系结构
本书分为18章,分别为R的基本介绍、原始数据的探索与预处理、R的数据可视化、R中参数的估计和检验、R中的方差分析、R中的相关分析和回归分析、更高级的数据可视化、R中的聚类分析和判别分析、R中的主成分分析和因子分析、R中的广义线性回归模型、R中的时间序列模型、R中的化问题、使用R绘制地理信息图形、使用R构建支持向量机、实现更高效的流程控制和高级循环、R代码的调试与优化、构建电影评分预测模型、贝叶斯垃圾邮件过滤器模型。这18章进一步又分为五部分。
部分为本书的第1~6章。其中前3章展示了R软件的一些入门功能,如数据预处理和数据可视化等,后3章则介绍了三种基础的统计分析方法,即参数的估计和检验、方差分析、相关分析、回归分析。这6个章节围绕初级的统计方法展开,是数据分析师必备的基本知识。
第二部分为本书的第7~11章,这5个章节介绍了更高级的统计方法。其中,第7章为第3章的延伸,介绍了数据可视化的高级方法,第8~11章则介绍了6种高级统计分析方法,这部分的内容与部分互为补充。
第三部分为本书的第12~14章,这部分内容围绕机器学习展开。第12章的主题为化,是机器学习的基本理论。第13章介绍了如何使用矢量化的思想绘制地图。第14章则介绍了支持向量机,它是典型的机器学习算法之一。这部分讲解了更高深的R语言编程技巧,讨论了一些R软件能够解决的难度问题。
第15、16章可视为本书的第四部分。这两章围绕如何优化R代码展开,系统地讨论了如何写出错误较少的、运行速度较快的代码。这部分内容帮助读者建立良好的编程习惯,以及与其他R用户更好地协同工作。
第17、18章则为本书的后一部分,这两章分别讨论了一个完整的数据挖掘项目。其中电影评分预测的案例着重于表现数据挖掘的完整流程,包括繁复的数据预处理与反复的模型比较等工作;垃圾邮件过滤的案例则引出R软件能够处理的另一个主题——文本分析。
上述划分方法仅为一个参考,本书的18个章节既互相联系又彼此独立,读者可按照上述划分方法阅读本书,也可优先阅读某些章节,如将第3、7、13章等与数据可视化相关的三个章节放在一起阅读。
本书读者对象
? 想要了解R语言的数据分析从业人员。
? 统计学、金融学、计算机技术与科学等专业的学生。
? 想要提高R语言编程能力的数据分析师。
? 希望系统学习统计分析方法的从业人员。
? 其他对R语言有兴趣的各类人员。
评论
还没有评论。