大数据开发与应用

本书系统讲解了目前大数据开发领域的主流技术与实用技能，尤其侧重于对Hadoop生态系统的讲解，包括Hadoop框架的运作流程、执行原理及数据工具等内容。

全书共分12章，分别对大数据概论、Hadoop集群环境搭建以及HDFS、MapReduce、ZooKeeper、HBase、Hive、Storm、Sqoop、Kafka、Spark和ElasticSearch的核心知识进行了介绍，同时辅以对各种API及实例的深入解析与实践指导，旨在使读者迅速理解并掌握大数据的相关知识框架体系，提高动手能力，熟练使用Hadoop集成环境等大数据开发工具，完成大数据相关应用的开发、调试和运行工作。

本书适用面广，可作为高等学校大数据专业、计算机类专业的教材，也可作为大数据从业者、软件开发人员以及程序设计爱好者的参考用书。

大数据的迅猛发展是数字设备计算能力增长的必然结果，但巨大的数据量也给数据的存储、管理以及分析带来了极大的挑战。一天之中，互联网产生的全部内容可以刻满1.68亿张DVD，发出的邮件有2940亿封之多（相当于美国两年的纸质信件数量），发出的社区帖子达200万个（相当于《时代》杂志770年的文字量）。显然，依赖单个设备处理能力的传统数据处理技术早已无法满足如此大规模数据的存储和处理需求，数据管理方式的变革已呼之欲出。

鉴于此，以Google等为代表的一些数据处理公司研发了横向的分布式文件存储、分布式数据处理和分布式数据分析技术，很好地解决了数据爆炸所产生的各种问题，并由此开发了以Hadoop为核心的开源大数据处理系统和以HBase为核心的开源数据库系统等。这些系统的共同特点是：通过采用计算机节点集群横向扩展数据处理能力，使程序能在集群上并行执行，从而实现了对海量数据的存储、处理和检索。目前，这些系统已成为大数据开发领域的主流技术。

本书共分为12章，分别对大数据概论、Hadoop集群环境搭建以及HDFS、MapReduce、ZooKeeper、HBase、Hive、Storm、Sqoop、Kafka、Spark和ElasticSearch的核心知识点进行了介绍，并侧重讲解Hadoop生态系统的相关理论与实践知识，包括Hadoop框架的执行原理、运作流程以及各组成部分的功能等。本书兼顾系统性与实用性，在全面介绍当前大数据开发的主流技术与实用技巧的基础上，通过对各种API和实例的讲解、剖析及上机练习，注重实践能力的提升，旨在使读者通过对本书的学习，深入理解和掌握大数据开发的相关知识，并能熟练使用Hadoop集成环境完成大数据应用的开发、调试和运行工作。