数据科学导论

本书可作为大专院校数据科学的导论性教材或参考书，也适合所有对数据科学感兴趣的学生和社会读者自学。

（1） 体现工程教育专业认证的理念，注重对学生解决复杂工程问题能力的培养，突破常规学科划分局限，将基于项目的思维方式与系统性解决问题能力的培养常态化、课程化。

（2） 提供大量典型、实用的案例分析，深刻挖掘并精准阐述其中的科学原理，源自编者20多年科学研究和应用开发的深厚积累。

（3） 全新采用完整数据科学项目的规范化流程作为内容组织逻辑，确立数据科学项目规范步骤的同时，加强内容的可读性与可理解性，便于将书中理论移植到真实应用。

（4） 新形态教材，配套资源丰富，包括教学大纲、PPT课件、例程序代码，教学资源，可扫描书中二维码下载或观看。

（5） 配套中国大学MOOC网站在线课程“探索数据的奥秘”28个视频（时长300多分钟），便于翻转课堂、混合式教学和自主学习。

 

本书通过完整、规范的数据科学项目的流程来组织全书体系结构，涵盖数据科学项目的全过程，包括问题提出与目标制定、凝练前提假设和设计数据方案、探索性数据分析、建模与分析、性能评价、结果诠释与展示。佐以丰富的案例分析和模拟项目训练，启发学生主动思考，培养学生在实践中树立严谨的科学思维方式及数据科学流程。 本书除了可作为本科生数据科学基础课、理工通识课教材外，还面向所有对数据科学有浓厚兴趣的人群，以及各行各业中有大体量数据分析需求的人群。

黄晓林，南京大学电子科学与工程学院副教授，长期从事信号处理与数据分析工作，发表SCI学术论文30多篇，主持纵向科研项目4项，获国家授权方面专利5项，软件著作权1项。目前主讲南京大学电子科学与工程学院本科生课程《计算方法》、《数据科学导论》，曾经讲授《数据库应用》《生物医学电子学》等课程。

第1章  绪论

1.1  为什么要研究数据科学

1.2  基本概念

1.2.1  数据

1.2.2  大数据

1.2.3  数据科学

1.3  数据科学项目涉及的人员及其任务

1.4  数据科学项目流程

1.4.1  确定问题

1.4.2  制定目标

1.4.3  搜集数据

1.4.4  探索性数据分析

1.4.5  建立模型

1.4.6  性能评价

1.4.7  结果展示

1.4.8  部署模型

1.5  数据科学项目中的数据流

1.6  本书内容、采用工具和目标人群

思考题

 

第2章  问题与目标

2.1  用户层面的问题与目标

2.2  数据科学层面的问题与目标

思考题

 

第3章  数据获取

3.1  前提假设与数据方案设计

3.1.1  前提假设

3.1.2  数据方案设计

3.1.3  数据获取的可行性分析

3.1.4  确定数据构成

3.2  总体和抽样

3.2.1  总体和个体

3.2.2  样本

3.2.3  无偏抽样

3.2.4  抽样偏差

3.3  混杂因素和A/B Testing

3.3.1  混杂因素和辛普森悖论

3.3.2  双盲实验和A/B Testing

思考题

 

第4章  Python基础

4.1  Python的下载与安装

4.2  常用工具包的下载与安装

4.3  Jupyter Notebook

4.4  Python的常用数据结构

4.4.1  列表

4.4.2  元组

4.4.3  字典

4.4.4  集合

4.4.5  numpy.n  darray

4.4.6  Pandas.D  ataFrame

4.5  Python基本语法

4.5.1  基本命令

4.5.2  控制流和相关语法

4.6  Python数据导入

4.6.1  本地数据导入

4.6.2  在线数据导入

4.6.3  数据的连续流加载

 

第5章  探索性数据分析

5.1  数据检查

5.1.1  数据的意义及规模

5.1.2  特征的数据类型及意义

5.1.3  初步排除数据泄露

5.2  数据预处理

5.2.1  缺失处理

5.2.2  异常处理

5.2.3  冗余处理

5.3  描述性统计

5.3.1  位置性测度

5.3.2  离散性测度

5.3.3  图形化描述统计

思考题

 

第6章  建模与性能评价

6.1  统计建模

6.1.1  常见的概率密度函数

6.1.2  参数估计

6.1.3  假设检验

6.1.4  phacking

6.2  回归模型

6.2.1  线性回归模型

6.2.2  线性回归模型性能评价

6.2.3  线性回归与线性相关

6.2.4  逻辑回归

6.2.5  训练集测试集划分

6.2.6  应用非数值特征作为输入时的onehot编码

6.3  朴素贝叶斯模型

6.3.1  贝叶斯定理

6.3.2  高斯模型

6.3.3  多项式模型

6.3.4  伯努利模型 

6.4  分类模型的性能评价

6.4.1  混淆矩阵

6.4.2  指标权衡

6.4.3  应用举例

6.4.4  参数区分性能评价

6.5  决策树

6.5.1  决策树工作原理

6.5.2  分类任务决策树的建模过程

6.5.3  分类决策树应用举例

6.6  有监督学习模型与无监督学习模型

6.7  Kmeans模型

6.7.1  两个基本概念

6.7.2  Kmeans迭代算法

6.8  偏差方差权衡

6.8.1  偏差方差困境

6.8.2  过拟合与欠拟合

6.8.3  K折交叉验证

6.9  参数的网格搜索

6.10  集成学习

6.10.1  孔多塞陪审团定理

6.10.2  决策树集成

思考题

 

第7章  结果展示

7.1  区分面向对象的结果展示

7.1.1  面向出资方的结果展示

7.1.2  面向用户的结果展示

7.1.3  面向数据科学家的结果展示

7.2  展示过程中的可视化

7.2.1  展示可视化的两个层面

7.2.2  展示可视化的三点基本原则

结语

 

参考文献

 

伴随当前传感、网络与通信、存储技术的大力发展，社会生活中的方方面面每天都产生、积累着大量数据，对这些数据的有效处理与及时应用的需求带来了对传统数据分析领域的新挑战。针对上述挑战，近年来以互联网为代表的工业界引领了数据科学的热潮。然而，随着数据科学在业界的流行，一些由于基本概念不清晰或应用不规范而带来的结论误导（如有偏样本搜集、p值欺骗等）问题也开始日益凸显，进而引起了学术界的关注。

数据科学是应用“科学”的方法、流程、算法和系统，从多种形式的结构化或非结构化数据中提取知识和洞见的交叉学科。其内容跨越数学、计算机、信息学、系统科学等多领域，难以分门别类进行介绍。而已有的一些相关书籍，多偏重工具的应用和技巧，对数据科学中的“科学”元素甚少涉及。本书立足于“科学”性，从学术的严谨性出发，着重确立数据科学中的各种基本概念与原理，建立数据科学完整的规范化流程。

具体而言，本书将遵照严谨的科学探索流程，按“确定问题—制定目标—搜集数据—探索性数据分析—建立模型—性能评价—结果展示”的规范化步骤，依次介绍各环节的关键概念、原理和准则，并佐以丰富的案例分析，启发学生主动思考，在实践中培养学生严谨的科学思维方式及规范的数据科学流程，对于指导可靠的数据分析具有重要意义。

本书是对数据科学的导论性介绍，力求简洁、易懂，包含了丰富的案例。本书可作为高等院校相关专业的基础课或通识课教材，也适合作为对数据科学感兴趣的大专院校学生或社会读者的自学书籍。

本书的代码全部使用Python语言在Jupyter Notebook环境中编写，书中第4章将对Python和Jupyter Notebook做相应介绍，熟悉该内容的读者可以跳过该章。

2018年，作者团队在南京大学电子科学与工程学院面向三年级本科生新开设了“数据科学导论”课程，教学内容和教案的编写借鉴了大量的国内外优秀教材以及国际知名高校的网络公开课。2019年年底，本课程的慕课版“探索数据的奥秘”在中国大学MOOC网正式上线。在线下和线上课程的开设过程中，同学们都给予了积极热情的反馈。基于他们的反馈意见，作者团队对教学内容及其组织形式、分析案例等进行了多次调整与完善，终形成了本书。在此，也向所有参加过线下与线上课程学习的同学们表示感谢。

在本书编写团队中，黄晓林任主编，负责整体内容的规划、组织与全书行文，刘斌任副主编并编写第3、7章部分内容，刘钦编写第4章部分内容，陈颖编写第6章中决策树相关部分，葛云编写第1章中部分应用案例。研究生张羽祺、王珵、余强、奚菁对本书部分图表的绘制提供了帮助，在此向他们表示感谢。

感谢南京大学电子科学与工程学院徐骏教授、施毅教授、王自强副教授，南京大学教务处施佳欢老师、宋晓青老师等，本书从初新建课程到现在教材定稿，每一步的进展都离不开他们的大力支持。感谢马小飞博士提供业界动态，感谢南京邮电大学地理与生物信息学院王俊教授和南京师范大学教育科学学院王蔚教授为本书提出的宝贵意见。感谢清华大学出版社文怡编辑等同志，是他们的辛勤工作保障了本书的顺利出版。

本书配套有微课视频（请观看中国大学MOOC网“探索数据的奥秘”课程视频），书中所有源代码、课件均随书提供下载（扫描二维码），可供读者自学或作为教学等非商业目的使用。

由于作者水平有限，书中难免有不当之处，欢迎读者批评指正。

作者

2020年8月

大纲 课件 源代码