描述
开 本: 16开纸 张: 胶版纸包 装: 平装-胶订是否套装: 否国际标准书号ISBN: 9787302674863丛书名: 大数据技术丛书
《Spark SQL大数据分析快速上手》帮助读者快速提高Spark 大数据分析技能，内容包括：
Spark SQL发展背景、Spark的典型数据容器及关系、Spark开发环境搭建、Spark典型数据结构RDD。
Spark SQL入门实战（包括Scala编程基础）、SQL基础语法、操作多数据源、Spark SQL性能调优。
影评数据分析、商品统计数据分析、咖啡销售数据分析3个实战项目。
本书内容基于Spark新版本展开，符合企业目前开发需要。本书全面讲解Spark SQL相关知识和实战应用，
各章均提供较为丰富的案例及其详细的操作步骤，并配套示例源码、数据集、PPT课件和教学大纲。
本书共10章。第1~3章为Spark SQL的基础准备部分，内容包括Spark SQL的发展和简介、Spark的典型数
据容器及关系、Spark概述与环境搭建、Spark典型数据结构RDD;第4~7章为Spark SQL的基础应用部分，内
容包括Spark SQL入门实战（包括Scala编程基础）、SQL基础语法、操作多数据源、SparkSQL性能调优等；
第8~10章分别通过影评数据分析、商品统计数据分析、咖啡销售数据分析等3个实战项目进行巩固提升。
本书内容翔实、示例丰富，既可作为Spark初学者、大数据分析人员、大数据应用开发人员的自学手册，
也可作为高等院校或高职高专院校计算机、软件工程、数据科学与大数据技术、智能科学与技术、人工智能
等专业大数据课程的教材。
本书封面贴有清华大学出版社防伪标签，无标签者不得销售。
版权所有，侵权必究。举报：010-62782989，[email protected]。
目 录
第 1 章 Spark SQL概述 1
1.1 Spark SQL简介 1
1.1.1 什么是Spark SQL 1
1.1.2 Spark SQL的特点 2
1.2 Spark数据容器 4
1.2.1 什么是DataFrame 4
1.2.2 什么是DataSet 5
1.2.3 Spark SQL与DataFrame 6
1.2.4 DataFrame与RDD的差异 6
第 2 章 Spark概述及环境搭建 8
2.1 Spark概述 8
2.1.1 关于Spark 8
2.1.2 Spark的基本概念 9
2.1.3 Spark集群相关知识 11
2.2 Linux环境搭建 16
2.2.1 VirtualBox虚拟机的安装 16
2.2.2 安装Linux操作系统 18
2.2.3 SSH工具与使用 24
2.2.4 Linux的统一设置 26
2.3 Hadoop完全分布式环境搭建 28
2.4 Spark的安装与配置 33
2.4.1 本地模式安装 34
2.4.2 伪分布模式安装 36
2.4.3 完全分布模式安装 39
2.4.4 Spark on YARN 41
2.5 Spark的任务提交 45
2.5.1 使用spark-submit提交 45
2.5.2 spark-submit参数说明 46
第 3 章 Spark的典型数据结构RDD 49
3.1 什么是RDD 49
3.2 RDD的主要属性 50
3.3 RDD的特点 51
3.4 RDD的创建与处理过程 54
3.4.1 RDD的创建 55
3.4.2 RDD的处理过程 55
3.4.3 RDD的算子 56
第 4 章 Spark SQL入门实战 65
4.1 DataFrame和DataSet实战体验 65
4.1.1 SparkSession 65
4.1.2 DataFrame应用 66
4.1.3 DataSet应用 72
4.1.4 DataFrame和DataSet之间的交互 74
4.2 Scala开发环境搭建及其基础编程 74
4.2.1 开发环境搭建 75
4.2.2 Scala基础编程 78
4.3 Spark SQL实战入门体验 94
第 5 章 Spark SQL语法基础及应用 101
5.1 Hive安装与元数据存储配置 101
5.1.1 安装Hive 101
5.1.2 配置MySQL存储元数据 104
5.2 Spark SQL DML语句 107
5.2.1 插入数据 107
5.2.2 加载数据 110
5.3 Spark SQL查询语句 111
5.4 Spark SQL函数操作 115
5.4.1 内置函数及使用 115
5.4.2 自定义函数 126
第 6 章 Spark SQL数据源 131
6.1 Spark SQL数据加载、存储概述 131
6.1.1 通用load/save函数 131
6.1.2 手动指定选项 133
6.1.3 在文件上直接进行SQL查询 133
6.1.4 存储模式 133
6.1.5 持久化到表 134
6.1.6 桶、排序、分区操作 135
6.2 Spark SQL常见结构化数据源 135
6.2.1 Parquet文件 135
6.2.2 JSON 数据集 140
6.2.3 Hive表 141
6.2.4 其他关系数据库中的数据表 144
第 7 章 Spark SQL性能调优 148
7.1 Spark执行流程 148
7.2 Spark内存管理 149
7.3 Spark的一些概念 150
7.4 Spark开发原则 151
7.5 Spark调优方法 157
7.6 数据倾斜调优 168
7.7 Spark执行引擎Tungsten简介 172
7.8 Spark SQL解析引擎Catalyst简介 173
第 8 章 Spark SQL影评大数据分析项目实战 177
8.1 项目介绍 177
8.2 项目实现 179
8.2.1 引入依赖 179
8.2.2 公共类开发 184
8.2.3 需求1的实现 187
8.2.4 需求2的实现 191
8.2.5 需求3的实现 194
第 9 章 Spark SQL商品统计分析项目实战 198
9.1 项目介绍 198
9.2 项目实现 201
9.2.1 引入依赖 201
9.2.2 环境测试 202
9.2.3 Spark SQL初始化数据 203
9.2.4 Spark SQL商品数据分析 206
第 10 章 Spark SQL咖啡销售数据分析项目实战 211
10.1 项目介绍 211
10.2 数据预处理与数据分析 212
10.2.1 查看咖啡销售量排名 213
10.2.2 观察咖啡销售量的分布情况 214
10.3 数据可视化 218
前 言
随着大数据技术的不断发展和新数据的不断产生，大数据处理引擎也在不断升级。Spark作为继Hadoop之后的下一代大数据处理引擎，经过飞跃式发展，现已成为大数据产业中的一股中坚力量，越来越多的企业和组织开始使用Spark进行数据处理。而Spark SQL作为Spark生态系统中的一个重要组成部分，提供了SQL接口，使得数据分析人员可以更加便捷地进行数据查询和分析。在此背景下，市场上对于掌握Spark SQL数据分析技能的人才需求旺盛。
关于本书
本书内容基于Spark新版本展开，符合企业开发数据分析应用的需要。本书全面讲解Spark SQL相关知识和实战应用；内容包括Spark SQL概述、Spark概述和环境搭建、Spark典型数据结构RDD、Spark SQL入门实战（包括Scala编程基础）、Spark SQL语法基础及应用、Spark SQL数据源、Spark SQL性能调优等。最后通过影评数据分析、商品统计数据分析、咖啡销售数据分析等3个Spark SQL实战项目进行技能提升。
本书特点
（1）本书重视实践操作，涵盖框架搭建和开发环境安装、技术框架快速示例引入、技术框架详细案例讲解、大数据分析综合项目实战提升等内容，并将实战开发与理论知识相结合，从而促进读者深入掌握大数据分析技能。
（2）作者是具有多年大数据分析和处理实战经验的高级工程师，在写作本书时，结合自己的技术功底并融入实战心得，使得所介绍的内容逻辑清晰、步骤详细、通俗易懂，方便读者自学。
（3）本书配套提供全部示例源码、数据集、PPT课件和教学大纲，方便读者提高学习效率，保证学习质量。
配套资源下载与答疑服务
本书配套资源包括示例源码、数据集、PPT课件和教学大纲，读者需要用自己的微信扫描下面的二维码获取。如果阅读过程中发现问题或产生疑问，请使用下载资源中提供的相关电子邮箱或微信联系我们。
本书读者
?Spark初学者
?Spark大数据分析人员
?Spark大数据管理人员
?Spark大数据分析应用开发人员
?高等院校或高职高专院校Spark大数据课程的学生
编者
2024年8月
评论
还没有评论。