大数据导论

本书是面向商业和技术专业人员的大数据权威指南，清楚地介绍了大数据相关的概念、理论、术语与基础技术，并使用真实连贯的商业案例以及简单的图表，帮助读者更清晰地理解大数据技术。本书可作为高等院校相关专业“大数据基础”、“大数据道路”等课程的教材，也可供有一定实践经验的软件开发人员、管理人员和所有对大数据感兴趣的人士阅读。

作 者 简 介Thomas ErlThomas Erl是IT畅销书作者，Arcitura教育公司的创始人，Prentice Hall出版社“Thomas Erl的服务技术丛书”的编辑。他的书发行量超过200 000册，成为国际畅销书，并且已经获得多个重要IT组织成员的正式认可，例如，IBM、Microsoft、Oracle、Intel、Accenture、IEEE、HL7、MITRE、SAP、CISCO、HP等。作为Arcitura公司的CEO，Thomas领导研发了国际公认的大数据科学专家认证（BDSCP）、云专家认证（CCP）与SOA专家认证（SOACP）的课程大纲，设立了一系列正式的、与厂商无关的工业认证，全球已有数千IT从业人员获得了这些认证。Thomas还作为演讲家与教育家，在20多个国家进行过巡回演讲。Thomas已经在诸多出刊物上发表过100多篇文章和访谈，包括《华尔街日报》与《CIO杂志》。
Wajid KhattakWajid Khattak是Arcitura教育公司的大数据研究者与教育者。他的研究领域包括大数据工程与架构、数据科学、机器学习、分析学与SOA。此外，他在商务智能报告解决方案与GIS方面有着丰富的.NET软件开发经验。
Wajid于2003年在英国伯明翰城市大学获得软件工程学士学位，于2008年在该校以杰出的成绩获得软件工程与安全硕士学位。另外，Wajid还获得了MCAD & MCTS（Microsoft）、SOA架构师、大数据科学家、大数据工程师以及大数据研究顾问（Arcitura）认证。
Paul BuhlerPaul Buhler博士是一位经验丰富的IT专家，他在商业公司、政府机构和学校均有过从业经验。在面向服务的计算概念、技术和实现方法领域，他是一位受人尊敬的研究者、实践者与教育者。他在XaaS领域的研究已经延伸到了云、大数据与万物互联网（IoE）。目前他的研究兴趣是通过权衡响应式设计原则与基于目标的执行方式，减少业务策略与流程执行之间的差距。
作为Modus21的首席科学家，Paul Buhler博士根据当前业务架构与流程执行框架的发展趋势调整企业的战略布局。目前，他还是查尔斯顿学院的合作教授，负责本科生与硕士生计算机科学课程的教学工作。Paul Buhler博士在南卡罗来纳大学获得计算机工程博士学位，在约翰霍普金斯大学获得计算机科学硕士学位，在塞特多大学获得计算机科学学士学位。

目　　录
译者序
致谢
作者简介
部分　大数据基础
第1章　理解大数据3
1.1　概念与术语4
1.1.1　数据集4
1.1.2　数据分析5
1.1.3　数据分析学5
1.1.4　商务智能11
1.1.5　关键绩效指标11
1.2　大数据特征12
1.2.1　容量12
1.2.2　速率13
1.2.3　多样性13
1.2.4　真实性14
1.2.5　价值14
1.3　不同数据类型15
1.3.1　结构化数据16
1.3.2　非结构化数据17
1.3.3　半结构化数据17
1.3.4　元数据18
1.4　案例学习背景18
1.4.1　历史背景18
1.4.2　技术基础和自动化环境19
1.4.3　商业目标和障碍20
1.5　案例学习21
1.5.1　确定数据特征22
1.5.2　确定数据类型24
第2章　采用大数据的商业动机与驱动25
2.1　市场动态25
2.2　业务架构27
2.3　业务流程管理30
2.4　信息与通信技术31
2.4.1　数据分析与数据科学31
2.4.2　数字化31
2.4.3　开源技术与商用硬件32
2.4.4　社交媒体33
2.4.5　超连通社区与设备33
2.4.6　云计算34
2.5　万物互联网35
2.6　案例学习35
第3章　大数据采用及规划考虑39
3.1　组织的先决条件40
3.2　数据获取40
3.3　隐私性40
3.4　安全性41
3.5　数据来源42
3.6　有限的实时支持43
3.7　不同的性能挑战43
3.8　不同的管理需求43
3.9　不同的方法论44
3.10　云44
3.11　大数据分析的生命周期45
3.11.1　商业案例评估45
3.11.2　数据标识47
3.11.3　数据获取与过滤47
3.11.4　数据提取48
3.11.5　数据验证与清理49
3.11.6　数据聚合与表示50
3.11.7　数据分析52
3.11.8　数据可视化52
3.11.9　分析结果的使用53
3.12　案例学习54
3.12.1　大数据分析的生命周期55
3.12.2　商业案例评估55
3.12.3　数据标识56
3.12.4　数据获取与过滤56
3.12.5　数据提取57
3.12.6　数据验证与清理57
3.12.7　数据聚合与表示57
3.12.8　数据分析57
3.12.9　数据可视化58
3.12.10　分析结果的使用58
第4章　企业级技术与大数据商务智能59
4.1　联机事务处理60
4.2　联机分析处理60
4.3　抽取、转换和加载技术61
4.4　数据仓库61
4.5　数据集市62
4.6　传统商务智能62
4.6.1　即席报表63
4.6.2　仪表板63
4.7　大数据商务智能65
4.7.1　传统数据可视化65
4.7.2　大数据的数据可视化66
4.8　案例学习67
4.8.1　企业技术67
4.8.2　大数据商务智能68
第二部分　存储和分析大数据
第5章　大数据存储的概念71
5.1　集群72
5.2　文件系统和分布式文件系统72
5.3　NoSQL73
5.4　分片74
5.5　复制75
5.5.1　主从式复制76
5.5.2　对等式复制77
5.6　分片和复制80
5.6.1　结合分片和主从式复制80
5.6.2　结合分片和对等式复制81
5.7　CAP定理82
5.8　ACID85
5.9　BASE88
5.10　案例学习91
第6章　大数据处理的概念93
6.1　并行数据处理93
6.2　分布式数据处理94
6.3　Hadoop94
6.4　处理工作量95
6.4.1　批处理型95
6.4.2　事务型95
6.5　集群96
6.6　批处理模式97
6.6.1　MapReduce批处理97
6.6.2　Map和Reduce任务98
6.6.3　MapReduce的简单实例103
6.6.4　理解MapReduce算法104
6.7　实时模式处理107
6.7.1　SCV原则107
6.7.2　事件流处理110
6.7.3　复杂事件处理110
6.7.4　大数据实时处理与SCV110
6.7.5　大数据实时处理与MapReduce111
6.8　案例学习112
6.8.1　处理工作量112
6.8.2　批处理模式处理112
6.8.3　实时模式处理113
第7章　大数据存储技术115
7.1　磁盘存储设备115
7.1.1　分布式文件系统116
7.1.2　RDBMS数据库117
7.1.3　NoSQL数据库119
7.1.4　NewSQL数据库128
7.2　内存存储设备129
7.2.1　内存数据网格131
7.2.2　内存数据库138
7.3　案例学习141
第8章　大数据分析技术143
8.1　定量分析144
8.2　定性分析145
8.3　数据挖掘145
8.4　统计分析146
8.4.1　A/B测试146
8.4.2　相关性分析147
8.4.3　回归性分析149
8.5　机器学习150
8.5.1　分类（有监督的机器学习）151
8.5.2　聚类（无监督的机器学习）152
8.5.3　异常检测152
8.5.4　过滤153
8.6　语义分析154
8.6.1　自然语言处理155
8.6.2　文本分析155
8.6.3　情感分析156
8.7　视觉分析157
8.7.1　热点图157
8.7.2　时间序列图159
8.7.3　网络图160
8.7.4　空间数据制图161
8.8　案例学习162
8.8.1　相关性分析162
8.8.2　回归性分析162
8.8.3　时间序列图163
8.8.4　聚类163
8.8.5　分类163
附录A　案例结论165
索引167