高等学校大数据技术与应用规划教材:大数据应用基础

      本书是将大数据基本理论与基本应用有机结合的教材，按照定义、特征、技术流程和典型案例分析的方式编写，抽丝剥茧，由易到难，有助于读者理解和掌握大数据技术。本书的一大亮点是每章中都使用图表对大数据与传统数据处理方式进行对比。另外，本书注重启发式的学习策略，便于读者理解和掌握。全书在每一章均附有实际应用案例与关键词注释，方便读者查阅和自学，同时配备了习题和参考答案。本书适合作为普通高校大数据技术的基础教材，也可以作为职业培训教育及相关技术人员的参考用书。

第1章大数据概论

 

1.1大数据技术简介

 

1.1.1IT产业的发展简史

 

1.1.2大数据的主要来源

 

1.1.3数据生成的三种主要

方式

 

1.1.4大数据的特点

 

1.1.5大数据的处理流程

 

1.1.6大数据的数据格式

 

1.1.7大数据的基本特征

 

1.1.8大数据的应用领域

 

1.2大数据的技术架构

 

1.3大数据的整体技术

 

1.4大数据分析的四种典型工具

简介

 

1.5大数据未来发展趋势

 

1.5.1数据资源化

 

1.5.2数据科学和数据联盟的

成立

 

1.5.3大数据隐私和安全

问题

 

1.5.4开源软件成为推动大数

据发展的动力

 

1.5.5大数据在多方位改善人

们的生活

 

本章小结

 

习题1

 

第2章大数据采集及预处理

 

2.1数据采集简介

 

2.1.1数据采集

 

2.1.2数据采集的数据来源

 

2.1.3数据采集的技术方法

 

2.2大数据的预处理

 

2.3数据采集及预处理的主要

工具

 

本章小结

 

习题2

 

 

 

第3章大数据分析概论

 

3.1大数据分析简介

 

3.1.1大数据分析

 

3.1.2大数据分析的基本

方法

 

3.1.3大数据处理流程

 

3.2大数据分析的主要技术

 

3.2.1深度学习

 

3.2.2知识计算

 

3.3大数据分析处理系统简介

 

3.3.1批量数据及处理系统

 

3.3.2流式数据及处理系统

 

3.3.3交互式数据及处理

系统

 

3.3.4图数据及处理系统

 

3.4大数据分析的应用

 

本章小结

 

习题3

 

 

 

 

第4章大数据可视化

 

4.1大数据可视化简介

 

4.2大数据可视化工具

Tableau

 

本章小结

 

习题4

 

 

 

 

第5章Hadoop概论

 

5.1Hadoop简介

 

5.1.1Hadoop简史

 

5.1.2Hadoop应用和发展

趋势

 

5.2Hadoop的架构与组成

 

5.2.1Hadoop架构介绍

 

5.2.2Hadoop组成模块

 

5.3Hadoop应用分析

 

本章小结

 

习题5

大数据应用基础

目录

 

 

 

 

第6章HDFS和Common概论

 

6.1HDFS简介

 

6.1.1HDFS的相关概念

 

6.1.2HDFS特性

 

6.1.3HDFS体系结构

 

6.1.4HDFS的工作原理

 

6.1.5HDFS的相关技术

 

6.2Common简介

 

本章小结

 

习题6

 

第7章MapReduce概论

 

7.1MapReduce简介

 

7.1.1MapReduce

 

7.1.2MapReduce功能、特征和

局限性

 

7.2Map和Reduce任务

 

7.3MapReduce架构和工作

流程

 

7.3.1MapReduce的架构

 

7.3.2MapReduce的工作

流程

 

本章小结

 

习题7

 

第8章NoSQL概论

 

8.1NoSQL简介

 

8.1.1NoSQL的含义

 

8.1.2NoSQL的产生

 

8.1.3NoSQL的特点

 

8.2NoSQL技术基础

 

8.2.1大数据的一致性策略

 

8.2.2大数据的分区与放置

策略

 

8.2.3大数据的复制与容错

技术

 

8.2.4大数据的缓存技术

 

8.3NoSQL的类型

 

8.3.1键值存储

 

8.3.2列存储

 

8.3.3面向文档存储

 

8.3.4图形存储

 

8.4典型的NoSQL工具

 

8.4.1Redis

 

8.4.2Bigtable

 

8.4.3CouchDB

 

本章小结

 

习题8

 

第9章Spark概论

 

9.1Spark平台

 

9.1.1Spark简介

 

9.1.2Spark发展

 

9.1.3Scala语言

 

9.2Spark与Hadoop

 

9.2.1Hadoop的局限与不足

 

9.2.2Spark的优点

 

9.2.3Spark速度比Hadoop快的

原因分析

 

9.3Spark处理架构及其生态

系统

 

9

习近平总书记在党的十九大报告中提出要“推动互联网、大数据、人工智能和实体经济深度融合”，强调“贯彻新发展理念，建设现代化经济体系”。大数据、VR（虚拟现实）、AR（增强现实）和人工智能等信息技术必将为社会发展和时代进步注入新的生机和血液。

为此，本书围绕大数据应用，从理论、相关技术和实际应用三个层面进行简明扼要的阐述，目的是让广大师生对大数据的应用方法和相关知识有所了解，更好地把握科学发展的方向。

大数据技术教学在中国医科大学已经连续开展五年，已经成为大学计算机教育的重要组成部分。为国家培养了一批掌握新IT发展动态和技能的医学人才，同时也积累了一定的教学经验。

在编写原则上，本书注重知识的系统性、针对性、理论性和应用性。本书倡导启发式的学习策略，通过案例启发学生的学习兴趣，检验其学习效果，提高其学习能力。

本书内容包括12章：第1章大数据概论主要讲解了大数据技术概念、架构、整体技术；第2章大数据采集及预处理主要讲解了大数据采集的概念、数据来源和技术方法；第3章大数据分析概论主要讲解了大数据分析的方法、流程、主要技术；第4章大数据可视化主要讲解了大数据可视化的过程和可视化工具Tableau；第5章Hadoop概论主要讲解了Hadoop的架构；第6章HDFS和Common概论主要讲解了HDFS的体系结构、工作原理和Common模块；第7章MapReduce概论主要讲解了MapReduce的架构、原理和工作流程；第8章NoSQL概论主要讲解了NoSQL的基本知识和典型工具；第9章Spark概论主要讲解了Spark生态系统的组成；第10章云计算与大数据主要讲解了云计算的服务模式、部署模式；第11章典型大数据解决方案主要讲解了各种大数据解决方案；第12章大数据应用案例分析（医疗领域）主要讲解了大数据在医疗领域的应用案例。

本书由娄岩任主编，由徐东雨任副主编，郑琳琳、刘尚辉、李静、马瑾、丁林、曹阳、庞东兴、张志常、霍妍参与编写。具体编写分工如下：第1章由娄岩编写，第2章由郑琳琳编写，第3章由刘尚辉编写，第4章由李静编写，第5章由马瑾编写，第6章由丁林编写，第7章由徐东雨编写，第8章由曹阳编写，第9章由庞东兴编写，第10章由张志常编写，第11章、第12章由霍妍编写。

中国铁道出版社对本书的出版做了充分论证，精心策划。在此向所有参加编写的同事们、帮助和指导过我们工作的朋友们和参考文献的作者前辈们表示衷心的感谢！

由于编者水平有限，加之时间仓促，书中难免存在疏漏之处，恳请广大读者批评斧正！

 

娄岩

2018年6月