描述
开 本: 16开纸 张: 胶版纸包 装: 平装-胶订是否套装: 否国际标准书号ISBN: 9787302487302丛书名: 大数据应用与技术丛书
学习高级分析技术，并利用现有工具包使分析应用更加强大、精确和高效！《Hadoop高级数据分析 使用Hadoop生态系统设计和构建大数据系统》将架构、设计及实现信息恰当地融为一体，将指导你创建超越基础方法(SF分类、聚类、推荐)的分析系统。
在《Hadoop 高级数据分析 使用Hadoop 生态系统设计和构建大数据系统》中，*实践强调“确保连贯、高效的开发”。将使用包含工具箱、库、可视化组件和报表代码在内的标准第三方组件，借助集成“组合件”开发一个可运行的、可扩展的、端到端的完整示例系统。
《Hadoop 高级数据分析 使用Hadoop 生态系统设计和构建大数据系统》强调以下四点：
● 具有分析组件及合理可视化结果的完整、灵活、可配置、高性能数据管道系统的重要性。深入探讨的主题包括Spark、H2O、Vopal Wabbit(NLP)、Stanford NLP、Apache Mahout，以及其他适用的工具包、库和插件。
● *实践和结构化设计原则。包括重要主题及示例部分。
● 用混合搭配或混合系统实现应用目标的重要性。你在学习深度示例时可体会到混合方法的重要性。
● 使用现有第三方库是有效开发的关键。在开发示例系统时，深度示例将展示一些第三方工具包的功能。
第Ⅰ部分 概念
第1章 概述：用Hadoop构建数据分析
系统
3
1.1 构建DAS的必要性 4
1.2 Hadoop Core及其简史 4
1.3 Hadoop生态系统概述 5
1.4 AI技术、认知计算、深度学习
以及BDA 6
1.5 自然语言处理与BDAS 6
1.6 SQL与NoSQL查询处理 6
1.7 必要的数学知识 7
1.8 设计及构建BDAS的循环过程 7
1.9 如何利用Hadoop生态系统
实现BDA 10
1.10 “图像大数据”(IABD)基本
思想 10
1.10.1 使用的编程语言 12
1.10.2 Hadoop生态系统的多语言
组件 12
1.10.3 Hadoop生态系统架构 13
1.11 有关软件组合件与框架的
注意事项 13
1.12 Apache Lucene、Solr及其他：
开源搜索组件 14
1.13 建立BDAS的架构 15
1.14 你需要了解的事情 15
1.15 数据可视化与报表 17
1.15.1 使用Eclipse IDE作为开发
环境 18
1.15.2 本书未讲解的内容 19
1.16 本章小结 21
第2章 Scala及Python进阶 23
2.1 动机：选择正确的语言定义
应用 23
2.2 Scala概览 24
2.3 Python概览 29
2.4 错误诊断、调试、配置文件及
文档 31
2.4.1 Python的调试资源 32
2.4.2 Python文档 33
2.4.3 Scala的调试资源 33
2.5 编程应用与示例 33
2.6 本章小结 34
2.7 参考文献 34
第3章 Hadoop及分析的标准工具集 35
3.1 库、组件及工具集：概览 35
3.2 在评估系统中使用深度学习方法 38
3.3 使用Spring框架及Spring
Data 44
3.4 数字与统计库：R、Weka及
其他 44
3.5 分布式系统的OLAP技术 44
3.6 用于分析的Hadoop工具集：
Apache Mahout及相关工具 45
3.7 Apache
Mahout的可视化 46
3.8 Apache
Spark库与组件 46
3.8.1 可供选择的不同类型的shell 46
3.8.2 Apache Spark数据流 47
3.8.3 Sparkling Water与H2O
机器学习 48
3.9 组件使用与系统建立示例 48
3.10 封包、测试和文档化示例
系统 50
3.11 本章小结 51
3.12 参考文献 51
第4章 关系、NoSQL及图数据库 53
4.1 图查询语言：Cypher及
Gremlin 55
4.2 Cypher示例 55
4.3 Gremlin示例 56
4.4 图数据库：Apache
Neo4J 58
4.5 关系数据库及Hadoop生态
系统 59
4.6 Hadoop以及UA组件 59
4.7 本章小结 63
4.8 参考文献 64
第5章 数据管道及其构建方法 65
5.1 基本数据管道 66
5.2 Apache Beam简介 67
5.3 Apache Falcon简介 68
5.4 数据源与数据接收：使用
Apache Tika构建数据管道 68
5.5 计算与转换 70
5.6 结果可视化及报告 71
5.7 本章小结 74
5.8 参考文献 74
第6章 Hadoop、Lucene、Solr与
高级搜索技术 75
6.1 Lucene/Solr生态系统简介 75
6.2 Lucene查询语法 76
6.3 使用Solr的编程示例 79
6.4 使用ELK栈(Elasticsearch、
Logstash、Kibana)
85
6.5 Solr与Elasticsearch：特点与
逻辑 93
6.6 应用于Elasticsearch和Solr的
Spring
Data组件 95
6.7 使用LingPipe和GATE实现定制
搜索 99
6.8 本章小结 108
6.9 参考文献 108
第Ⅱ部分 架构及算法
第7章 分析技术及算法概览 111
7.1 算法类型综述 111
7.2 统计/数值技术 112
7.3 贝叶斯技术 113
7.4 本体驱动算法 114
7.5 混合算法：组合算法类型 115
7.6 代码示例 116
7.7 本章小结 119
7.8 参考文献 119
第8章 规则引擎、系统控制与系统
编排 121
8.1 规则系统JBoss Drools介绍 121
8.2 基于规则的软件系统控制 124
8.3 系统协调与JBoss Drools 125
8.4 分析引擎示例与规则控制 126
8.5 本章小结 129
8.6 参考文献 129
第9章 综合提升：设计一个完整的分析
系统 131
9.1 本章小结 136
9.2 参考文献 136
第Ⅲ部分 组件与系统
第10章 数据可视化：可视化与交互
分析 139
10.1 简单的可视化 139
10.2 Angular
JS和Friends简介 143
10.3 使用JHipster集成Spring
XD
和Angular
JS 143
10.4 使用d3.js、sigma.js及其他
工具 152
10.5 本章小结 153
10.6 参考文献 153
第Ⅳ部分 案例研究与应用
第11章 生物信息学案例研究：
分析显微镜载玻片数据 157
11.1 生物信息学介绍 157
11.2 自动显微镜简介 159
11.3 代码示例：使用图像填充
HDFS
162
11.4 本章小结 165
11.5 参考文献 165
第12章 贝叶斯分析组件：识别信用
卡诈骗 167
12.1 贝叶斯分析简介 167
12.2 贝叶斯组件用于信用卡诈骗
检测 169
12.3 本章小结 172
12.4 参考文献 172
第13章 寻找石油：使用Apache
Mahout
分析地理数据 173
13.1 基于领域的Apache
Mahout推理
介绍 173
13.2 智能制图系统和Hadoop
分析 179
13.3 本章小结 180
13.4 参考文献 180
第14章 “图像大数据”系统：一些
案例研究 181
14.1 图像大数据简介 181
14.2 使用HIPI系统的个代码
示例 184
14.3 BDA图像工具包利用高级语言
功能 187
14.4 究竟什么是图像数据分析？ 187
14.5 交互模块和仪表板 189
14.6 添加新的数据管道和分布式
特征查找 189
14.7 示例：分布式特征查找算法 190
14.8 IABD工具包中的低级图像
处理程序 194
14.9 术语 194
14.10 本章小结 195
14.11 参考文献 195
第15章 构建通用数据管道 199
15.1 示例系统的体系架构和描述 199
15.2 如何获取和运行示例系统 200
15.3 管道构建的五大策略 200
15.3.1 从数据源和接收装置
工作 200
15.3.2 由中间向外发展 200
15.3.3 基于企业集成模式(EIP)的
开发 200
15.3.4 基于规则的消息管道开发 201
15.3.5 控制 数据(控制流)管道 202
15.4 本章小结 202
15.5 参考文献 203
第16章 大数据分析的总结与展望 205
16.1 总结 205
16.2 大数据分析的现状 206
16.3 “孵化项目”和“初期
项目” 208
16.4 未来Hadoop及其后续思考 209
16.5 不同观点：目前Hadoop的
替代方案 211
16.6 在“未来Hadoop”中使用机器
学习和深度学习技术 211
16.7 数据可视化和BDA的前沿
领域 212
16.8 结束语 212
附录A 设置分布式分析环境 215
附录B 获取、安装和运行示例分析
系统 227
Apache Hadoop软件库逐渐受到重视。它是许多公司、政府机构、科研设施进行高级分布式开发的基础。Hadoop生态系统现在包含几十个组件用于搜索引擎、数据库和数据仓库进行图像处理、深度学习及自然语言处理。随着Hadoop2的出现，不同的资源管理器可用于提供更高级别的复杂性和控制力。竞争对手、替代品以及Hadoop技术和架构的继承/变种比比皆是，包括Apache Flink、Apache Spark等。软件专家和评论员多次宣布“Hadoop的死亡”。
我们必须正视一个问题：Hadoop死了吗？这取决于Hadoop本身的感知界限。我们是否认为Apache Spark是Hadoop批处理文件方法的内存继承者，是Hadoop家族的一部分，仅仅因为Apache Spark也使用了Hadoop文件系统HDFS？存在很多“灰色区域”的其他例子，其中较新的技术取代或增强了原有的“Hadoop经典”功能。分布式计算是一个不断移动的目标，是Hadoop和Hadoop生态系统的分界线，在短短几年间已经发生了显著变化。在本书中，我们试图展示Hadoop及其相关生态系统的一些多样的、动态的方面，并试图说服你，尽管Hadoop发生变化，但它依然非常活跃、与当前的软件开发相关并且使数据分析程序员特别感兴趣。
评论
还没有评论。