大数据导论

本书努力让非技术专业的人看懂数据科学的知识和理论及方法。
在应用部分特别关注医疗、旅游、金融和制造业的典型行业的应用。
大量应用了直观的图表说明，这些都使本书的逻辑更加清晰，便于理解。

《大数据导论》内容包括大数据基础、大数据下的云计算、大数据处理、数据统计与分析、大数据安全、数据可视化、大数据与社交媒体的融合、大数据促进电子病历的改革、大数据在旅游业中的应用、大数据在金融业的应用和大数据在制造业的应用，既包括大数据的基本知识，也涵盖大数据在典型行业的具体应用，读者通过学习能更深入地认识和掌握大数据的应用价值。书中每章都设有习题与实践，便于巩固所学内容。
《大数据导论》是为高等院校各专业学习大数据基本课程而设计编写的，既能满足人文社会科学学科的相关专业需求，也可以满足理工科的需要，同时也可作为各行各业在职人士的参考用书。

前言
第1章大数据基础
1.1大数据时代
1.1.1大数据时代的技术基础
1.1.2大数据时代的变革
1.1.3信息技术（IT）向数据技术
（DT）的转变
1.2什么是大数据
1.2.1数据的基本知识
1.2.2大数据定义
1.2.3大数据的特征
1.3大数据结构类型
1.4大数据的应用
1.4.1大数据在个人生活中的应用
1.4.2大数据在企业中的应用
1.4.3大数据在政府部门中的运用
1.5数据科学和大数据技术
1.5.1数据科学
1.5.2大数据技术与工具
1.6习题与实践
参考文献
第2章大数据下的云计算
2.1云计算概述
2.1.1云计算的定义
2.1.2云计算的特征
2.1.3云计算的体系架构
2.1.4云计算的类型划分
2.1.5云计算的服务模式
2.2云计算技术
2.2.1虚拟化技术
2.2.2并行计算技术
2.2.3海量数据管理技术
2.2.4海量数据存储技术
2.3云计算与云存储
2.3.1云存储概述
2.3.2云存储的存储方式
2.3.3云存储与云计算的关系
2.4云计算与大数据
2.4.1云计算与大数据的关系
2.4.2云计算与大数据的结合
2.5案例——基于云计算的智慧
城市建设框架
2.5.1智慧城市的内涵
2.5.2智慧城市的支撑技术
2.5.3智慧城市的体系架构
2.5.4智慧城市的应用
2.6习题与实践
参考文献
第3章大数据处理
3.1数据采集
3.1.1数据采集方法
3.1.2数据质量评估
3.1.3数据质量的影响因素
3.2数据清洗
3.2.1处理残缺数据
3.2.2处理噪声数据
3.2.3处理冗余数据
3.3数据变换
3.3.1属性类型变换
3.3.2属性值变换
3.4数据集成
3.4.1模式匹配与数据值冲突
3.4.2数据冗余
3.5数据归约
3.5.1维归约
3.5.2数值归约
3.6习题与实践
参考文献
第4章数据统计与分析
4.1统计分析方法
4.1.1分类与预测
4.1.2聚类分析
4.1.3关联分析
4.1.4异常分析
4.2数据挖掘的基本概念
4.2.1数据挖掘的定义
4.2.2数据挖掘的分类
4.2.3数据挖掘的过程
4.3数据挖掘经典算法
4.3.1K-Means算法
4.3.2KNN算法
4.3.3ID3算法
4.4案例——用大数据来挖掘
《小时代》
4.5习题与实践
参考文献
第5章大数据安全
5.1安全与隐私问题凸显
5.1.1网络安全漏洞
5.1.2个人隐私泄露
5.2大数据时代的安全挑战
5.2.1信息安全的发展历程
5.2.2云计算技术带来的安全挑战
5.3如何解决大数据安全问题
5.3.1大数据安全防护对策
5.3.2大数据安全防护关键技术
5.4如何解决隐私保护问题
5.4.1隐私保护的政策法规
5.4.2隐私保护技术
5.5案例——百度大数据安全
实践
5.6习题与实践
参考文献
第6章数据可视化
6.1数据可视化类型
6.1.1科学可视化
6.1.2信息可视化
6.1.3可视分析学
6.2数据可视化流程及步骤
6.2.1数据可视化流程
6.2.2数据处理和变换
6.2.3视觉编码
6.2.4统计图表
6.2.5视觉隐喻
6.3可视化评估
6.3.1评估分类
6.3.2评估方法
6.4习题与实践
参考文献
第7章大数据与社交媒体的融合
7.1什么是社交媒体
7.1.1社交媒体的定义
7.1.2社交媒体的发展
7.2社交媒体大数据的分析与
挖掘
7.2.1基于用户的大数据分析
7.2.2基于关系的大数据分析
7.2.3基于内容的大数据分析
7.3社交媒体大数据的未来挑战
7.4社交媒体大数据信息安全
问题
7.4.1社交媒体导致的信息风险类型和
形成原因
7.4.2社交媒体的信息风险治理
方案
7.5习题与实践
参考文献
第8章大数据促进电子病历的
改革
8.1医疗病历的问题与挑战
8.1.1病历共享和追溯问题
8.1.2病历责任意识薄弱
8.1.3病历遗失现象
8.1.4电子病历的出现
8.2大数据与电子病历
8.2.1电子病历的大数据定义
8.2.2基于大数据的标准化电子
病历
8.2.3“大数据 云计算”的电子病历
存储
8.2.4基于大数据的电子病历共享和
追溯
8.3电子病历与数据挖掘
8.3.1电子病历数据的深度利用
8.3.2电子病历的数据预处理
8.3.3多维电子病历数据分析
8.3.4电子病历数据挖掘
8.4我国居民终身电子病历
8.4.1背景分析
8.4.2实施方案
8.4.3技术支持
8.5习题与实践
参考文献
第9章大数据在旅游业中的应用
9.1旅游数据的问题与发展
9.1.1旅游数据收集问题
9.1.2旅游数据分析问题
9.1.3旅游数据应用问题
9.1.4旅游数据的发展方向
9.2大数据与旅游业
9.2.1智慧旅游 大数据
9.2.2定制旅游 大数据
9.2.3精准营销 大数据
9.3旅游与数据挖掘
9.3.1锁定客户人群、关注客户
需求
9.3.2社交媒体挖掘、增加客户
忠诚
9.4旅游平台
9.4.1旅游平台的模式
9.4.2旅游平台的技术
9.5习题与实践
参考文献
第10章大数据在金融业中的应用
——金融大数据
10.1金融大数据概述
10.1.1什么是金融大数据
10.1.2金融大数据对金融业的
影响
10.1.3金融大数据应用的实施
战略
10.2金融大数据的应用
10.2.1金融大数据的业务应用
10.2.2金融大数据的应用举例
10.3大数据与金融创新
10.3.1金融创新的四个维度
10.3.2金融创新的应用举例
10.4习题与实践
参考文献
第11章大数据在制造业中的应用
——工业大数据
11.1大数据下的工业革命
11.1.1工业4.0
11.1.2“新工业革命”和“中国制
造2025”
11.2工业大数据
11.3大数据与智能工厂
11.3.1智能工厂的概念、

回顾过去的十年，科技产品和成果不断涌现，冲击着人类的生活方式和思维方式：智能移动设备、人工智能、云计算、物联网、社交网络和各种各样的“共享”等，使人类认知世界的方式和方法发生了巨大变化。在这些平台和技术的运用中，流淌、堆积着一个强大的资源——大数据！人们对数据的认识和运用由此发生了根本性变化，大数据从技术变成了产业和科学，数据的价值因其“大”而“全”受到前所未有的重视。如果说过去人类社会的发展是由机械驱动、电力驱动或网络驱动的话，那么现在和未来就是由大数据来驱动人类社会的进步。大数据的快速发展和多样性给人们带来巨大的挑战，同时大数据又给各方面带来意想不到的价值和机遇。
大数据涌现：大数据之繁在于其“大”，不仅指其容量的数据单位由TB级别跨越到了DB级别，还体现在多样性、处理速度和复杂度等方面，海量的数据已如决堤之洪流涌入人们的生活，大量信息源产生的数据已远远超越目前人力所能处理的范围，需要人们探索如何对这些数据进行管理及运用；大数据的根本在于“数据”，在互联网及相关平台上利用新技术来采集、存储和分析激增的数据。
大数据价值：大数据之重在于其“全”，蕴含在大数据中的价值使得大数据已经成为信息产业中潜力的蓝海，人们赋予数据更多的意义，使数据成为信息资源的载体，具有了资本特性；大数据的价值在于运用，大数据在各个行业的广泛应用，促进社会价值的快速提升才是其终目的。这也使得学习及掌握大数据处理工具和获得解决方案显得十分迫切。大数据的出现将会对社会各个领域产生深刻影响，“用数据来说话、用数据来管理、用数据来决策、用数据来创新”是这个时代的鲜明特征。大数据技术将对社会各层面的现在和未来产生巨大价值，包括决策、预测和洞见等。
大数据人才：大数据时代需要一大批具备大数据知识和技能的人才，一方面，要有一部分专业人才，不断研究大数据科学和技术；另一方面，其他领域的人才也应该能充分了解大数据并能和自己的专业领域结合，有效地将大数据科学和各行业的应用相结合，推动新技术和新应用的发展，这两个方面的人才都是不可或缺的。因此，以不同的需求，从不同的角度学习和了解大数据是本书编写的基本出发点。
本书的读者对象是社会科学类的高等院校相关专业开设“大数据”有关课程的本科生、研究生，以及各行各业的经济、管理人员。此外，本书对于信息技术专业和理工科类专业的学生，以及有一定实践经验的IT技术人员，也具有一定的参考价值。
本书的编写力求理论联系实际，结合一系列了解和熟悉大数据理念、技术与应用的学习和实践活动，把大数据的相关概念、基础知识和技术技巧融入在实践中，使学生保持浓厚的学习热情，加深对大数据技术和运用的兴趣、认识、理解和掌握。努力让非技术专业的人看懂数据科学的知识和理论及方法。本书在应用部分特别关注医疗、旅游、金融和制造业的典型行业的应用。例如，电子病历的改革、大数据在旅游业中的应用、大数据在金融业中的应用，以及大数据在制造业中的应用，具有较强的行业实践性。为相关章节的知识应用提供了现实场景，以加深读者对大数据实际应用的认识。另外，本书大量应用了直观的图表说明，这些都使本书的逻辑更加清晰，便于理解。
本书由天津财经大学教师和研究生团队编写。参加编写工作的人员具体分工为：杨尊琦、林海负责大纲的制定、全书的校改和第1章的撰写等工作；朱笑笑负责第2章和第8章的撰写；潘婧炜负责第3章和第9章的撰写；王雅萌负责第4章和第5章的撰写；张琳负责第6章和第7章的撰写；刘君玲负责第10章和第11章的撰写。本书在编写过程中参考了很多优秀的教材、专著和网上资料，在此对所有被引用文献的作者表示衷心的感谢。
特别要感谢机械工业出版社的鼎力支持，以及本书编辑的辛勤工作。由于编者水平和能力有限，书中难免有不当之处，希望读者朋友给予指正，不吝赐教。