大数据分析

本书系统、全面地介绍了大数据分析的基本知识和技能，包括大数据基础、大数据分析基础、大数据分析生命周期、大数据分析基本原则、构建分析路线、大数据分析的运用、大数据分析的用例、预测分析方法、预测分析技术、大数据分析模型、用户角色与分析工具、大数据分析平台、社交网络与推荐系统、组织分析团队等内容，*后为大数据分析的学习设计了一个课程实践项目，全书具有较强的系统性、可读性和实用性。本书是为高等院校计算机相关专业，尤其是大数据、信息管理、经济管理类专业开设“大数据分析”课程全新设计编写的，具有丰富实践特色的主教材。

这是一个大数据爆发的时代。面对信息的激流，多元化数据的涌现，大数据已经为个人生活、企业经营，甚至国家与社会的发展都带来了机遇和挑战，大数据已经成为IT信息产业中*潜力的蓝海。

1982年计算机应用专业本科毕业，1986年由水电部研究所调入杭州大学计算机系任教，1991年破格晋升副教授，1999年调入浙江大学城市学院计算机系任教，2005年晋升教授。在杭州大学、浙江大学、浙江大学城市学院、浙江工业大学之江学院、温州大学城市学院、嘉兴学院南湖学院、温州职业技术学院等多所院校专/兼职任教，教学经验丰富。
长期从事计算机等专业教学工作，担任计算机基础、计算机导论、软件工程、软件测试技术、软件体系结构、电子商务、移动商务、多媒体技术、数字媒体技术、项目管理、管理信息系统、应用统计学、C语言程序设计、面向对象程序设计、网络传播技术、网络生态学、人机交互技术、艺术设计概论、艺术欣赏概论、计算机平面设计、信息管理与信息系统概论、信息资源管理、办公软件高级应用、信息安全技术、网络管理技术、科技应用文写作、创新思维与创新方法、大数据与数据挖掘等课程的教学，对计算机学科教学以及应用型院校教学有深刻理解。
1988年在天津科学技术出版社出版本教材《FoxBASE 及其程序设计技巧》并获1991年全国优秀科技畅销书。1992年所著教材《软件工程及其应用》(天津科技出版社) 获北方十省市科技图书二等奖。

第1章大数据基础1
1.1什么是大数据4
1.1.1天文学——信息爆炸的起源5
1.1.2信息爆炸的社会5
1.1.3大数据的发展7
1.1.4大数据作为BI的进化形式8
1.2大数据的定义9
1.2.1定义大数据9
1.2.2大数据的3V特征10
1.2.3广义的大数据12
1.3大数据的结构类型12
1.4大数据应用改变生活13
1.4.1在线娱乐14
1.4.2在线广告14
1.4.3销售和营销14
1.4.4数据可视化15
1.4.5运营智能15
1.5大数据准备度自我评分表16
作业19第2章大数据分析基础22
2.1大数据的影响25
2.2数据具有内在预测性27
2.3大数据分析的定义27
2.44种数据分析方法28
2.4.1描述性分析29
2.4.2诊断性分析30
2.4.3预测性分析30
2.4.4规范性分析32
2.4.5关键绩效指标33
2.5定性分析与定量分析33
2.6大数据分析的行业作用33
2.6.1大数据分析的作用33
2.6.2大数据分析的关键应用35
2.6.3大数据分析的能力分析36
2.6.4大数据分析面临的问题36
作业38第3章大数据分析生命周期40
3.1大数据分析生命周期概述43
3.2商业案例评估44
3.3数据标识44
3.4数据获取与过滤44
3.5数据提取45
3.6数据验证与清理46
3.7数据聚合与表示47
3.8数据分析48
3.9数据可视化48
3.10分析结果的使用49
作业50第4章大数据分析基本原则52
4.1大数据的现代分析原则54
4.2原则1： 实现商业价值和影响56
4.3原则2： 专注于后一千米56
4.4原则3： 持续改善57
4.5原则4： 加速学习能力和执行力58
4.6原则5： 差异化分析58
4.7原则6： 嵌入分析59
4.8原则7： 建立现代分析架构59
4.9原则8： 构建人力因素60
4.10原则9： 利用消费化趋势60
作业61第5章构建分析路线63
5.1什么是分析路线66
5.1.1商业竞争3.0时代66
5.1.2创建独特的分析路线67
5.2第1步： 确定关键业务目标69
5.3第2步： 定义价值链69
5.4第3步： 头脑风暴分析解决方案机会71
5.4.1应用描述71
5.4.2分析手段71
5.5第4步： 描述分析解决方案机会74
5.6第5步： 创建决策模型74
5.7第6步： 评估分析解决方案机会75
5.8第7步： 建立分析路线图77
5.9第8步： 不断演进分析路线图77
作业77第6章大数据分析的运用79
6.1企业分析的分类81
6.2战略分析82
6.2.1专案分析83
6.2.2战略市场细分84
6.2.3经济预测84
6.2.4业务模拟84
6.3管理分析85
6.4运营分析86
6.5科学分析88
6.6面向客户的分析89
6.6.1预测服务89
6.6.2分析应用89
6.6.3消费分析90
6.6.4案例： 大数据促进商业决策91
作业94第7章大数据分析的用例96
7.1什么是用例100
7.2预测用例101
7.3解释用例104
7.4预报用例104
7.5发现用例106
7.6模拟用例106
7.7优化用例107
作业107第8章预测分析方法109
8.1预测分析方法论111
8.2定义业务需求113
8.2.1理解业务问题113
8.2.2定义应对措施113
8.2.3了解误差成本115
8.2.4确定预测窗口116
8.2.5评估部署环境116
8.3建立分析数据集117
8.3.1配置数据117
8.3.2评估数据117
8.3.3调查异常值118
8.3.4转换数据119
8.3.5执行基本表操作119
8.3.6处理丢失数据120
8.4降维与特征工程120
8.4.1降维120
8.4.2特征工程120
8.4.3特征变换123
8.5建立预测模型123
8.5.1制订建模计划123
8.5.2细分数据集124
8.5.3执行模型训练计划125
8.5.4测量模型效果125
8.5.5验证模型126
8.6部署预测模型126
8.6.1审查和批准预测模型127
8.6.2执行模型评分127
8.6.3评价模型效果128
8.6.4管理模型资产128
8.7预测分析软件系统129
作业129第9章预测分析技术132
9.1关于预测分析技术136
9.2统计分析136
9.3生存分析137
9.4有监督和无监督学习138
9.4.1有监督学习138
9.4.2无监督学习140
9.4.3有监督和无监督学习的区别141
9.5机器学习141
9.5.1机器学习的思路141
9.5.2异常检测142
9.5.3过滤144
9.5.4贝叶斯网络145
9.5.5文本挖掘146
9.6神经网络147
9.7深度学习149
9.8语义分析151
9.8.1自然语言处理152
9.8.2文本分析152
9.8.3文本处理153
9.8.4语义检索154
9.8.5A/B测试154
9.9视觉分析155
9.9.1热点图156
9.9.2空间数据图156
作业157第10章大数据分析模型161
10.1什么是分析模型169
10.2关联分析模型169
10.2.1回归分析170
10.2.2关联规则分析171
10.2.3相关分析172
10.2.4相关分析与回归分析173
10.3分类分析模型173
10.3.1判别分析的原理和方法174
10.3.2基于机器学习的分类模型174
10.3.3支持向量机175
10.3.4逻辑回归176
10.3.5决策树176
10.3.6k近邻177
10.3.7随机森林178
10.3.8朴素贝叶斯180
10.4聚类分析模型180
10.4.1聚类问题分析181
10.4.2聚类分析的分类182
10.4.3聚类有效性的评价183
10.4.4聚类分析方法183
10.4.5聚类分析的应用184
10.5结构分析模型184
10.5.1典型的结构分析方法184
10.5.2社团发现185
10.6文本分析模型185
作业186第11章用户角色与分析工具189
11.1用户角色193
11.1.1超级分析师193
11.1.2数据科学家194
11.1.3业务分析师195
11.1.4分析使用者195
11.2分析的成功因素196
11.3分析编程语言197
11.3.1R语言197
11.3.2SAS编程语言199
11.3.3SQL200
11.4业务用户工具201
11.4.1BI的常用技术201
11.4.2BI工具和方法的发展历程202
11.4.3新的分析工具与方法204
11.4.4业务工具实例206
作业208第12章大数据分析平台210
12.1分布式分析217
12.1.1关于并行计算217
12.1.2并行计算的三种形式218
12.1.3数据并行与“正交”218
12.1.4分布式的软件环境219
12.2预测分析架构220
12.2.1独立分析220
12.2.2部分集成分析221
12.2.3基于数据库的分析223
12.2.4基于Hadoop的分析224
12.3Apache Spark分布式分析软件225
12.4云计算中的分析227
12.4.1公有云和私有云228
12.4.2安全和数据移动229
12.5现代SQL平台229
12.5.1什么是现代SQL平台230
12.5.2现代SQL平台区别于传统SQL平台231
12.5.3MPP数据库232
12.5.4SQLonHadoop232
12.5.5NewSQL数据库233
12.5.6现代SQL平台的发展233
作业234第13章社交网络与推荐系统236
13.1社交网络的定义239
13.1.1社交网络的特点240
13.1.2社交网络度量241
13.1.3社交网络学习242
13.2社交网络的结构243
13.2.1社交网络的统计学构成244
13.2.2社交网络的群体形成245
13.2.3图与网络分析246
13.3社交网络的关联分析248
13.4推荐系统248
13.4.1推荐系统的概念248
13.4.2推荐方法的组合251
13.4.3推荐系统的评价252
13.5协同过滤252
13.6推荐方法254
13.6.1基于用户评价的推荐254
13.6.2基于人的推荐255
13.6.3基于标签的推荐255
作业256第14章组织分析团队258
14.1企业的分析文化262
14.1.1管理分析团队的有效因素262
14.1.2繁荣分析的文化共性263
14.2数据科学家（数据工作者）264
14.2.1数据科学家角色264
14.2.2分析人才的四种角色264
14.2.3数据准备专业人员266
14.2.4分析程序员266
14.2.5分析经理267
14.2.6分析通才268
14.2.7吸引数据科学家269
14.3集中式与分散式分析团队270
14.4组织分析团队272
14.4.1卓越中心272
14.4.2首席数据官与首席分析官272
14.4.3实验室团队273
14.4.4数据科学技能自我评估273
14.5走起，大数据分析275
作业276附录278
附录A部分作业参考答案278
附录B大数据分析课程实践280
B.1大数据帮零售企业制定促销策略280
B.2电信公司通过大数据分析挽回核心客户280
B.3大数据帮能源企业设置发电机地点281
B.4电商企业通过大数据制定销售战略281
B.5案例分析与课程实践要求281
参考文献284

大数据（Big Data）的力量，正在积极地影响着我们社会的方方面面。它冲击着许多主要的行业，包括零售业、电子商务和金融服务业等，也正在彻底地改变我们的学习和日常生活： 改变我们的教育方式、生活方式、工作方式。如今，通过简单、易用的移动应用和基于云端的数据服务，我们能够追踪自己的行为以及饮食习惯，还能提升个人的健康状况。因此，我们有必要真正理解大数据这个极其重要的议题。
中国是大数据的潜在市场之一。据估计，中国有近六亿网民，这就意味着中国的企业拥有绝佳的机会来更好地了解其客户并提供更加个性化的体验，同时为企业增加收入并提高利润。阿里巴巴就是一个很好的例子。阿里巴巴不但在商业模式上具有颠覆性，而且掌握了与购买行为、产品需求和库存供应相关的海量数据。除了阿里巴巴高层的领导能力之外，大数据是其成功的一个关键因素。
然而，仅有数据是不够的。对于身处大数据时代的企业而言，成功的关键还在于找出大数据所隐含的真知灼见。“以前，人们总说信息就是力量，如今，对数据进行分析、利用和挖掘才是力量之所在。”
在不同行业中，那些专门从事行业数据的收集、整理，进行深度分析，并依据分析结果做出行业研究、评估和预测的工作被称为数据分析。所谓大数据分析，是指用适当的方法对收集来的大量数据进行分析，提取有用信息和形成结论，从而对数据加以详细研究和概括总结的过程。或者，顾名思义，大数据分析是指对规模巨大的数据进行分析，是大数据到信息，再到知识的关键步骤。大数据分析结合了传统统计分析方法和计算分析方法，在研究大量数据的过程中寻找模式、相关性和其他有用信息，帮助企业更好地适应变化并做出更明智的决策。
对于大数据技术及其相关专业的大学生来说，大数据分析的理念、技术与应用是一门理论性和实践性都很强的核心课程。在长期的教学实践中，我们体会到，坚持“因材施教”的重要原则，把实践环节与理论教学相融合，抓实践教学促进理论知识的学习，是有效地改善教学效果和提高教学水平的重要方法之一。本书的主要特色是： 理论联系实际，结合一系列了解和熟悉大数据分析理念、技术与应用的学习和实践活动，把大数据分析的概念、知识和技术融入实践，使学生保持浓厚的学习热情，加深对大数据分析的兴趣,认识、理解和掌握核心知识。
本书是为高等院校相关专业开设“大数据分析”课程而设计编写，具有丰富实践特色的主教材，也可供有一定实践经验的IT应用人员、管理人员参考，或作为继续教育的教材。
本书系统、全面地介绍了大数据分析的基本知识和应用技能，详细介绍了大数据基础、大数据分析基础、大数据分析生命周期、大数据分析基本原则、构建分析路线、大数据分析的运用、大数据分析的用例、预测分析方法、预测分析技术、用户角色与分析工具、大数据分析平台、社交网络与推荐系统、组织分析团队等内容。附录中提供了课程作业参考答案，还为大数据分析的学习设计了一个课程实践项目。全书具有较强的系统性、可读性和实用性。
结合课堂教学方法改革的要求，全书各章有针对性地安排了课前导读案例，要求和指导学生在课前阅读案例和课后完成作业，深入理解课程知识内涵。
虽然已经进入电子时代，但我们仍然竭力倡导读书。为每章设计的作业（四选一标准选择题）其实并不难，学生只要认真阅读教材，都能准确回答所有题目。
本课程的教学进度设计参考详见“课程教学进度表”，该表可供教师授课和学生学习使用。实际执行时，应按照教学大纲和校历中关于本学期节假日的安排确定本课程的实际教学进度，并做适当剪裁。
本书的编写得到2019年度一流本科专业建设点（教高厅函〔2019〕46号）、浙江省本科高校“十三五”特色专业建设项目（浙教高教〔2017〕29号）、杭州市属高校新型专业建设计划项目（杭教高教〔2019〕5号）等的支持。
本书的编写得到浙大城市学院、浙江安防职业技术学院、浙江商业职业技术学院等多所院校师生的支持。金苍宏、陈礼管、王文、蔡锦锦、倪宁、乔凤凤等参与了本书的教材设计、教学规划、案例设计等编写工作。与本书配套的教学PPT课件等丰富教学资源可从清华大学出版社网站下载，欢迎教师与作者交流并索取本书教学配套的相关资料。

周苏2020年春

课程教学进度表（20—20学年第学期）

课程号： 课程名称： 大数据分析学分： 2周学时： 2
总学时： 32（其中理论学时： 32课外实践学时：  ）
主讲教师： 序号校历周次章节（或实验、习题课等）名称与内容学时教学方法课后作业布置11第1章大数据基础222第2章大数据分析基础233第3章大数据分析生命周期244第4章大数据分析基本原则255第5章构建分析路线266第6章大数据分析的运用277第7章大数据分析的用例288第8章预测分析方法299第9章预测分析技术21010第9章预测分析技术21111第10章大数据分析模型21212第10章大数据分析模型21313第11章用户角色与分析工具21414第12章大数据分析平台21515第13章社交网络与推荐系统21616第14章组织分析团队
课程实践2导读案例

理论教学作业作业作业作业作业作业作业作业作业作业作业作业作业作业
课程实践填表人（签字）：                                   日期：
系（教研室）主任（签字）：                         日期：