大数据导论

前 言

 

基 础 篇

 

第1 章 绪论 3

 

1.1 概述 3

 

1.1.1 数据 4

 

1.1.2 数据中蕴含的价值 6

 

1.1.3 获取数据中蕴含的价值 8

 

1.2 大数据的内涵和外延 9

 

1.2.1 大数据时代的驱动力 9

 

1.2.2 大数据的概念和特征 10

 

1.2.3 大数据带来的思维模式改变 12

 

1.2.4 大数据的作用和意义 13

 

1.3 大数据的技术挑战和科学意义 15

 

1.3.1 数据处理的一般过程 16

 

1.3.2 大数据计算面临的挑战 17

 

1.3.3 大数据计算的特点 18

 

1.3.4 大数据计算平台 19

 

1.3.5 大数据与云计算;人工智能的关系 20

 

1.4 数据科学 22

 

1.4.1 数据科学的提出 23

 

1.4.2 数据科学的范畴 23

 

1.4.3 数据科学对学科发展的影响 24

 

习题 25

 

参考文献及扩展阅读资料 26

 

技 术 篇

 

第2 章 数据采集与治理 29

 

2.1 概述 30

 

2.2 大数据的来源与多源数据的采集方式 30

 

2.2.1 大数据的来源 30

 

2.2.2 多源数据的采集 31

 

2.2.3 数据离散化 33

 

2.3 数据集成和跨界应用的数据集成方法 34

 

2.3.1 数据集成的定义与形式 34

 

2.3.2 传统数据集成 35

 

2.3.3 跨界数据集成 38

 

2.4 数据的预处理 40

 

2.4.1 数据变换 40

 

2.4.2 数据质量的检验与提升 41

 

习题 44

 

参考文献及扩展阅读资料 44

 

第3 章 数据管理 46

 

3.1 概述 46

 

3.2 关系数据库 47

 

3.2.1 关系数据模型 48

 

3.2.2 结构化查询语言 51

 

3.2.3 数据库事务 52

 

3.2.4 关系数据库管理系统 53

 

3.3 分布式文件系统 54

 

3.3.1 Hadoop 55

 

3.3.2 Ceph 57

 

3.3.3 GlusterFS 59

 

3.3.4 分布式文件系统对比 60

 

3.4 新型数据管理与查询系统 61

 

3.4.1 NoSQL 数据库 61

 

3.4.2 SQL on Hadoop 系统 65

……