描述
开 本: 16开纸 张: 胶版纸包 装: 平装-胶订是否套装: 否国际标准书号ISBN: 9787111578260丛书名: 数据科学与工程技术丛书
内容简介
本书涵盖的主题非常广泛，介绍了数据科学方方面面的知识，每一章都侧重于介绍数据科学的某一方面，为读者以后的深入学习打下基础。具体内容包括：第1、2章系统介绍大数据科学的背景知识及框架结构；第3~5章介绍机器学习相关知识；第6~9章介绍几个比较有趣的数据科学主题。本书是学习数据科学知识的入门教材，在深入学习本书的实例前，需要掌握SQL、Python及HTML5的入门知识，了解统计学和机器学习相关知识。
目 录
目 录
译者序
前言
关于本书
关于作者
关于封面插图
第1章 大数据世界中的数据科学1
1.1 数据科学和大数据的好处和用途2
1.2 数据种类3
1.2.1 结构化数据3
1.2.2 非结构化数据3
1.2.3 自然语言数据4
1.2.4 计算机数据4
1.2.5 图类数据5
1.2.6 音频、视频和图像数据5
1.2.7 流数据6
1.3 数据科学过程6
1.3.1 设置研究目标6
1.3.2 检索数据6
1.3.3 数据准备7
1.3.4 数据探索7
1.3.5 数据建模7
1.3.6 展示与自动化7
1.4 大数据生态系统与数据科学7
1.4.1 分布式文件系统7
1.4.2 分布式编程框架9
1.4.3 数据集成框架9
1.4.4 机器学习框架9
1.4.5 NoSQL数据库10
1.4.6 调度工具10
1.4.7 基准测试工具10
1.4.8 系统部署11
1.4.9 服务开发11
1.4.10 安全11
1.5 Hadoop工作示例介绍11
1.6 本章小结16
第2章 数据科学过程17
2.1 数据科学过程概述17
2.2 步骤1：定义研究目标并创立项目章程19
2.2.1 了解研究的目标和背景20
2.2.2 创立项目章程20
2.3 步骤2：检索数据20
2.3.1 从存储在公司内部的数据开始21
2.3.2 不要害怕去购买数据21
2.3.3 检查数据质量以预防问题发生22
2.4 步骤3：数据的清洗、整合以及转换22
2.4.1 数据清洗22
2.4.2 尽可能早地修正错误27
2.4.3 从不同的数据源整合数据28
2.4.4 数据转换30
2.5 步骤4：探索性数据分析32
2.6 步骤5：构建模型35
2.6.1 模型与变量的选择35
2.6.2 模型执行36
2.6.3 模型诊断与模型比较39
2.7 步骤6：展示结果并在其上搭建应用程序40
2.8 本章小结40
第3章 机器学习42
3.1 什么是机器学习，为什么需要关注它42
3.1.1 机器学习在数据科学中的应用43
3.1.2 机器学习在数据科学过程中的使用43
3.1.3 Python工具在机器学习中的应用44
3.2 建模过程45
3.2.1 特征工程以及模型选取46
3.2.2 模型的训练47
3.2.3 模型的验证47
3.2.4 预测新的观测值48
3.3 机器学习的类型48
3.3.1 有监督学习48
3.3.2 无监督学习53
3.4 半监督学习60
3.5 本章小结61
第4章 单机上处理大数据63
4.1 大数据处理过程中遇到的难题63
4.2 处理巨量数据的通用技术64
4.2.1 选择合适的算法65
4.2.2 选择合适的数据结构71
4.2.3 选择合适的工具73
4.3 处理大数据集的通用编程技巧75
4.3.1 不必重复发明轮子75
4.3.2 充分利用硬件76
4.3.3 减少计算需求76
4.4 案例研究1：预测恶意URL77
4.4.1 步骤1：确立研究目标77
4.4.2 步骤2：获取URL数据77
4.4.3 步骤4：数据探索78
4.4.4 步骤5：建模79
4.5 案例研究2：在数据库中建立一个推荐系统80
4.5.1 所需的工具及技术80
4.5.2 步骤1：研究问题82
4.5.3 步骤3：数据准备82
4.5.4 步骤5：建模86
4.5.5 步骤6：展示与自动化86
4.6 本章小结88
第5章 大数据世界的步89
5.1 数据分布存储和框架处理89
5.1.1 Hadoop：存储和处理大数据集的框架90
5.1.2 Spark：取代MapReduce以获得更好的性能92
5.2 案例研究：借贷的风险评估93
5.2.1 步骤1：研究目标94
5.2.2 步骤2：数据检索95
5.2.3 步骤3：数据准备98
5.2.4 步骤4（数据探索）和步骤6（报告形成）101
5.3 本章小结111
第6章 了解NoSQL112
6.1 NoSQL简介114
6.1.1 ACID：关系型数据库核心原则114
6.1.2 CAP理论：多节点数据库的问题115
6.1.3 NoSQL数据库的BASE原则116
6.1.4 NoSQL数据库的种类117
6.2 案例研究：这是什么疾病123
6.2.1 步骤1：设置研究目标124
6.2.2 步骤2和步骤3：数据检索与数据准备124
6.2.3 步骤4：数据探索131
6.2.4 再回到步骤3：为描述疾病概况做数据准备137
6.2.5 再回到步骤4：为描述疾病概况做数据探索140
6.2.6 步骤6：展示与自动化140
6.3 本章小结141
第7章 图数据库的兴起143
7.1 互联数据及图数据库概述143
7.2 图数据库Neo4j概述146
7.3 数据互联案例：食谱推荐引擎152
7.3.1 步骤1：设置研究目标153
7.3.2 步骤2：数据检索154
7.3.3 步骤3：数据准备155
7.3.4 步骤4：数据探索157
7.3.5 步骤5：数据建模159
7.3.6 步骤6：数据展示162
7.4 本章小结162
第8章 文本挖掘和文本分析164
8.1 现实世界中的文本挖掘165
8.2 文本挖掘技术169
8.2.1 词袋169
8.2.2 词干提取和词形还原170
8.2.3 决策树分类器171
8.3 案例研究：Reddit帖子分类173
8.3.1 自然语言工具包173
8.3.2 数据科学过程综述及第1步：研究目标175
8.3.3 第2步：数据检索175
8.3.4 第3步：数据准备178
8.3.5 步骤4：数据探索180
8.3.6 再回到步骤3：数据准备的调整182
8.3.7 步骤5：数据分析185
8.3.8 步骤6：展示与自动化188
8.4 本章小结189
第9章 面向终端用户的数据可视化191
9.1 数据可视化选项192
9.2 Crossfilter—JavaScript MapReduce库194
9.2.1 安装195
9.2.2 利用Crossfilter筛选药品数据集198
9.3 用dc.js创建一个交互式控制面板201
9.4 控制面板开发工具205
9.5
译者序
前言
关于本书
关于作者
关于封面插图
第1章 大数据世界中的数据科学1
1.1 数据科学和大数据的好处和用途2
1.2 数据种类3
1.2.1 结构化数据3
1.2.2 非结构化数据3
1.2.3 自然语言数据4
1.2.4 计算机数据4
1.2.5 图类数据5
1.2.6 音频、视频和图像数据5
1.2.7 流数据6
1.3 数据科学过程6
1.3.1 设置研究目标6
1.3.2 检索数据6
1.3.3 数据准备7
1.3.4 数据探索7
1.3.5 数据建模7
1.3.6 展示与自动化7
1.4 大数据生态系统与数据科学7
1.4.1 分布式文件系统7
1.4.2 分布式编程框架9
1.4.3 数据集成框架9
1.4.4 机器学习框架9
1.4.5 NoSQL数据库10
1.4.6 调度工具10
1.4.7 基准测试工具10
1.4.8 系统部署11
1.4.9 服务开发11
1.4.10 安全11
1.5 Hadoop工作示例介绍11
1.6 本章小结16
第2章 数据科学过程17
2.1 数据科学过程概述17
2.2 步骤1：定义研究目标并创立项目章程19
2.2.1 了解研究的目标和背景20
2.2.2 创立项目章程20
2.3 步骤2：检索数据20
2.3.1 从存储在公司内部的数据开始21
2.3.2 不要害怕去购买数据21
2.3.3 检查数据质量以预防问题发生22
2.4 步骤3：数据的清洗、整合以及转换22
2.4.1 数据清洗22
2.4.2 尽可能早地修正错误27
2.4.3 从不同的数据源整合数据28
2.4.4 数据转换30
2.5 步骤4：探索性数据分析32
2.6 步骤5：构建模型35
2.6.1 模型与变量的选择35
2.6.2 模型执行36
2.6.3 模型诊断与模型比较39
2.7 步骤6：展示结果并在其上搭建应用程序40
2.8 本章小结40
第3章 机器学习42
3.1 什么是机器学习，为什么需要关注它42
3.1.1 机器学习在数据科学中的应用43
3.1.2 机器学习在数据科学过程中的使用43
3.1.3 Python工具在机器学习中的应用44
3.2 建模过程45
3.2.1 特征工程以及模型选取46
3.2.2 模型的训练47
3.2.3 模型的验证47
3.2.4 预测新的观测值48
3.3 机器学习的类型48
3.3.1 有监督学习48
3.3.2 无监督学习53
3.4 半监督学习60
3.5 本章小结61
第4章 单机上处理大数据63
4.1 大数据处理过程中遇到的难题63
4.2 处理巨量数据的通用技术64
4.2.1 选择合适的算法65
4.2.2 选择合适的数据结构71
4.2.3 选择合适的工具73
4.3 处理大数据集的通用编程技巧75
4.3.1 不必重复发明轮子75
4.3.2 充分利用硬件76
4.3.3 减少计算需求76
4.4 案例研究1：预测恶意URL77
4.4.1 步骤1：确立研究目标77
4.4.2 步骤2：获取URL数据77
4.4.3 步骤4：数据探索78
4.4.4 步骤5：建模79
4.5 案例研究2：在数据库中建立一个推荐系统80
4.5.1 所需的工具及技术80
4.5.2 步骤1：研究问题82
4.5.3 步骤3：数据准备82
4.5.4 步骤5：建模86
4.5.5 步骤6：展示与自动化86
4.6 本章小结88
第5章 大数据世界的步89
5.1 数据分布存储和框架处理89
5.1.1 Hadoop：存储和处理大数据集的框架90
5.1.2 Spark：取代MapReduce以获得更好的性能92
5.2 案例研究：借贷的风险评估93
5.2.1 步骤1：研究目标94
5.2.2 步骤2：数据检索95
5.2.3 步骤3：数据准备98
5.2.4 步骤4（数据探索）和步骤6（报告形成）101
5.3 本章小结111
第6章 了解NoSQL112
6.1 NoSQL简介114
6.1.1 ACID：关系型数据库核心原则114
6.1.2 CAP理论：多节点数据库的问题115
6.1.3 NoSQL数据库的BASE原则116
6.1.4 NoSQL数据库的种类117
6.2 案例研究：这是什么疾病123
6.2.1 步骤1：设置研究目标124
6.2.2 步骤2和步骤3：数据检索与数据准备124
6.2.3 步骤4：数据探索131
6.2.4 再回到步骤3：为描述疾病概况做数据准备137
6.2.5 再回到步骤4：为描述疾病概况做数据探索140
6.2.6 步骤6：展示与自动化140
6.3 本章小结141
第7章 图数据库的兴起143
7.1 互联数据及图数据库概述143
7.2 图数据库Neo4j概述146
7.3 数据互联案例：食谱推荐引擎152
7.3.1 步骤1：设置研究目标153
7.3.2 步骤2：数据检索154
7.3.3 步骤3：数据准备155
7.3.4 步骤4：数据探索157
7.3.5 步骤5：数据建模159
7.3.6 步骤6：数据展示162
7.4 本章小结162
第8章 文本挖掘和文本分析164
8.1 现实世界中的文本挖掘165
8.2 文本挖掘技术169
8.2.1 词袋169
8.2.2 词干提取和词形还原170
8.2.3 决策树分类器171
8.3 案例研究：Reddit帖子分类173
8.3.1 自然语言工具包173
8.3.2 数据科学过程综述及第1步：研究目标175
8.3.3 第2步：数据检索175
8.3.4 第3步：数据准备178
8.3.5 步骤4：数据探索180
8.3.6 再回到步骤3：数据准备的调整182
8.3.7 步骤5：数据分析185
8.3.8 步骤6：展示与自动化188
8.4 本章小结189
第9章 面向终端用户的数据可视化191
9.1 数据可视化选项192
9.2 Crossfilter—JavaScript MapReduce库194
9.2.1 安装195
9.2.2 利用Crossfilter筛选药品数据集198
9.3 用dc.js创建一个交互式控制面板201
9.4 控制面板开发工具205
9.5
前 言
前 言本书传递的知识永存我们心中。人类之所以为人类，人类之所以是现在的样子，数据科学技术功不可没。这本书不仅介绍计算机驱动的数据科学相关知识，还将教给读者洞察连接的能力，以及如何以事实为依据演绎出结论，如何从过去的经历中汲取经验。人类比地球上的任何其他生物更依赖于大脑。人类的生存依赖于人脑，人类在大自然中的位置完全取决于人脑的特性。古往今来，这一战略解决了人类所面临的所有问题，在不久的将来，人类也不太可能改变它。
当谈到原始计算时，人类的大脑只能引领我们走到目前的境地。现在，我们每天都接收到海量的数据，人脑分析已经无法跟上大数据时代信息所包含的潜在内容，我们已掌握的知识更难以满足人类的好奇心。因此，我们利用机器为我们做一部分工作，比如：模式识别，创建连接，以及为人类的众多问题探寻答案。
对知识永无止境的探索是人类的基因，依赖计算机为人类完成一些力所能及的工作是我们的使命。
致谢非常感谢Manning出版社所有参与本书制作的人员，在你们的帮助下本书得以顺利出版。
感谢Ravishankar Rajagopalan对本书的书稿做了全面细致的技术校对，感谢Jona-than Thoms和 Michael Roberts给了许多专业的建议。另外感谢众多的评审人员，他们在本书的制作过程中提供了许多极有价值的意见反馈，他们是：Alvin Raj, Arthur Zubarev, Bill Martschenko, Craig Smith, Filip Pravica, Hamideh Iraj, Heather Campbell, Hector Cuesta, Ian Stirk, Jeff Smith, Joel Kotarski, Jonathan Sharley, J鰎n Dinkla, Marius Butuc, Matt R. Cole, Matthew Heck, Meredith Godar, Rob Agle, Scott Chaussee, Steve Rogers。
首先，我想感谢我的妻子Filipa，她给了我灵感和动力，让我得以战胜所有的困难。感谢她在我的职业生涯和创作这本书的过程中，始终陪伴在我身边。感谢她担负起家庭的重担，当我不在的时候独自照顾我们的小女儿，让我有了充裕的时间去追求我的目标并实现抱负。谨以此书向我的妻子致敬，非常感谢她为我们的小家庭所做的无私奉献。
同时，我想感谢我的女儿Eva以及我未出生的儿子，他们给了我极大的欢乐并让我笑口常开。他们活泼有趣、充满爱心，是上帝送给我的好的礼物，也是我所期望的完美的小孩，和他们在一起总是充满了乐趣。
特别要感谢我的父母，谢谢他们对我长期以来的支持。他们无尽的爱和鼓励让我从容完成了这本书，实现了人生的一个阶段目标，并继续我人生新的旅程。
同时，真诚地感谢同我一起共事的小伙伴们，谢谢大家齐心协力，一起攻坚了一个又一个难题。特别要感谢Mo和Arno，他们给了我有力的支持和很好的建议。非常感激大家在本书的创作过程中付出的时间和精力，你们棒极了！没有你们，我可能都不会写这本书。
后，真诚地感谢每一位支持我、理解我的朋友们。我常常忙得没有空闲时间，谢谢你们的关爱和一如既往的支持，让我能够专心创作并完成这本书。
Davy Cielen非常感谢我的家庭和我的朋友们，他们在我完成本书的过程中，给了我一如既往的支持和鼓励。外面的新鲜事物很多，能在家完成这本书的创作真的很不容易，谢谢大家！特别要感谢我的父母，我的兄弟Jago，还有我亲爱的女朋友Delphine。不管我有什么疯狂的想法和离奇的举动，你们一直坚守在我身边，不离不弃。
同时，谢谢我的教母，还有我的教父，他正在与癌症作斗争，但他们的积极乐观让生活充满了希望。
还要感谢我的朋友们，他们给我买啤酒。也谢谢我女朋友Delphine的父母，她的兄弟Karel和未过门的妻子Tess，谢谢你们的热情款待和美味佳肴。
大家为了美好的生活而努力奋斗着。
后并且是重要的一点，我想谢谢本书的合著者也是我的铁哥们Mo,以及本书的另一位合著者Davy，谢谢你们深刻的洞察和独特见解。为了成为一名企业家和数据科学家，我们每天共享跌宕起伏的人生，这是一段多么精彩的旅程，我相信我们的未来会更精彩。
Arno D. B. Meysman首先重要的一点是我要感谢我的未婚妻Muhuba，谢谢她的爱、理解、关心和包容。后，感谢Davy和Arno，和他们一起度过了很多开心时光并让我们的创业梦想成真。他们坚持不懈的奉献是我完成本书至关重要的资源。
Mohamed Ali
当谈到原始计算时，人类的大脑只能引领我们走到目前的境地。现在，我们每天都接收到海量的数据，人脑分析已经无法跟上大数据时代信息所包含的潜在内容，我们已掌握的知识更难以满足人类的好奇心。因此，我们利用机器为我们做一部分工作，比如：模式识别，创建连接，以及为人类的众多问题探寻答案。
对知识永无止境的探索是人类的基因，依赖计算机为人类完成一些力所能及的工作是我们的使命。
致谢非常感谢Manning出版社所有参与本书制作的人员，在你们的帮助下本书得以顺利出版。
感谢Ravishankar Rajagopalan对本书的书稿做了全面细致的技术校对，感谢Jona-than Thoms和 Michael Roberts给了许多专业的建议。另外感谢众多的评审人员，他们在本书的制作过程中提供了许多极有价值的意见反馈，他们是：Alvin Raj, Arthur Zubarev, Bill Martschenko, Craig Smith, Filip Pravica, Hamideh Iraj, Heather Campbell, Hector Cuesta, Ian Stirk, Jeff Smith, Joel Kotarski, Jonathan Sharley, J鰎n Dinkla, Marius Butuc, Matt R. Cole, Matthew Heck, Meredith Godar, Rob Agle, Scott Chaussee, Steve Rogers。
首先，我想感谢我的妻子Filipa，她给了我灵感和动力，让我得以战胜所有的困难。感谢她在我的职业生涯和创作这本书的过程中，始终陪伴在我身边。感谢她担负起家庭的重担，当我不在的时候独自照顾我们的小女儿，让我有了充裕的时间去追求我的目标并实现抱负。谨以此书向我的妻子致敬，非常感谢她为我们的小家庭所做的无私奉献。
同时，我想感谢我的女儿Eva以及我未出生的儿子，他们给了我极大的欢乐并让我笑口常开。他们活泼有趣、充满爱心，是上帝送给我的好的礼物，也是我所期望的完美的小孩，和他们在一起总是充满了乐趣。
特别要感谢我的父母，谢谢他们对我长期以来的支持。他们无尽的爱和鼓励让我从容完成了这本书，实现了人生的一个阶段目标，并继续我人生新的旅程。
同时，真诚地感谢同我一起共事的小伙伴们，谢谢大家齐心协力，一起攻坚了一个又一个难题。特别要感谢Mo和Arno，他们给了我有力的支持和很好的建议。非常感激大家在本书的创作过程中付出的时间和精力，你们棒极了！没有你们，我可能都不会写这本书。
后，真诚地感谢每一位支持我、理解我的朋友们。我常常忙得没有空闲时间，谢谢你们的关爱和一如既往的支持，让我能够专心创作并完成这本书。
Davy Cielen非常感谢我的家庭和我的朋友们，他们在我完成本书的过程中，给了我一如既往的支持和鼓励。外面的新鲜事物很多，能在家完成这本书的创作真的很不容易，谢谢大家！特别要感谢我的父母，我的兄弟Jago，还有我亲爱的女朋友Delphine。不管我有什么疯狂的想法和离奇的举动，你们一直坚守在我身边，不离不弃。
同时，谢谢我的教母，还有我的教父，他正在与癌症作斗争，但他们的积极乐观让生活充满了希望。
还要感谢我的朋友们，他们给我买啤酒。也谢谢我女朋友Delphine的父母，她的兄弟Karel和未过门的妻子Tess，谢谢你们的热情款待和美味佳肴。
大家为了美好的生活而努力奋斗着。
后并且是重要的一点，我想谢谢本书的合著者也是我的铁哥们Mo,以及本书的另一位合著者Davy，谢谢你们深刻的洞察和独特见解。为了成为一名企业家和数据科学家，我们每天共享跌宕起伏的人生，这是一段多么精彩的旅程，我相信我们的未来会更精彩。
Arno D. B. Meysman首先重要的一点是我要感谢我的未婚妻Muhuba，谢谢她的爱、理解、关心和包容。后，感谢Davy和Arno，和他们一起度过了很多开心时光并让我们的创业梦想成真。他们坚持不懈的奉献是我完成本书至关重要的资源。
Mohamed Ali
评论
还没有评论。