普通高等院校应用型人才培养“十三五”规划教材:Python数据分析

微课版，本书重视技术应用和实践教学，以众多示例形象展示应用，以实验操作提升学生能力。 

本书全面讲解Python数据分析的相关知识和技术，内容包括Python数据分析概述、NumPy数值计算、Matplotlib数据可视化、Pandas数据分析、数据预处理、Sklearn机器学习。本书以培养学生编程能力和数据分析能力为目标，注重技术应用能力的培养。本书内容充实、结构合理、实用性强，具有明确的应用能力培养目标，易于接受和理解，学完本书后，可以具备数据分析的基本能力。本书适合作为普通高等院校人工智能、数据科学与大数据以及计算机相关专业课程的教材，也可以作为相关从业人员的技术参考用书。

吴道君，男，广东岭南职业技术学院讲师、高级软件工程师，承担编程基础C++、软件工程、J2EE编程开发、.net开发等多门课程的教学任务。2011年12月指导学生参加第二届“国信蓝点杯”全国软件专业人才设计与开发大赛并获得个人赛全国总决赛“二等奖”，2013年在广东省首届信息技术类专业带头人“说专业”竞赛中获得“二等奖”。主编2016年9月于我社出版的《Java程序设计》一书。朱家荣：本科，就职于广西师范大学，从事数学、计算机等学科的课程教学，近10年主要担任《现代教育技术》、《教育技术与多媒体课件制作（含微课制作）》、《计算机应用基础》等课程教学。主持（或主要参与）完成广西教育厅科研项目，广西教育厅新世纪教改革工程项目等10多项，发表学术论文20多篇、主编参编教材多部，参与的《竞赛驱动 双向融通 地方高师院校师范生教师职业能力提升的研究与实践》项目获2017年广西高等教育自治区级教学成果奖一等奖。

第1章 Python数据分析概述 11.1 数据分析的概念、流程和应用 11.1.1 数据分析的概念 11.1.2 数据分析的流程 21.1.3 数据分析的应用 21.2 数据分析工具 31.2.1 常用工具 41.2.2 Python数据分析 41.3 Python数据分析环境 5小结 9习题 9实验 10第2章 NumPy数值计算 152.1 NumPy多维数组 152.1.1 数组创建 152.1.2 数组对象属性 222.1.3 数组数据类型 232.2 数组操作 242.2.1 修改数组形状 242.2.2 翻转数组 262.2.3 连接数组 272.2.4 分割数组 282.2.5 数组元素添加与删除 302.3 数组索引与切片 322.3.1 数组索引 322.3.2 数组切片 332.3.3 布尔型索引 342.3.4 花式索引 352.4 数组的运算 352.4.1 数组和标量间的运算 352.4.2 广播 362.4.3 算术函数 372.4.4 集合运算 402.4.5 统计运算 412.4.6 排序 432.4.7 搜索 442.5 线性代数 452.5.1 数组相乘 462.5.2 矩阵行列式 462.5.3 逆矩阵 462.5.4 线性方程组 472.5.5 特征值和特征向量 472.6 数组的存取 48小结 48习题 48实验 51第3章 Matplotlib数据可视化 543.1 线形图 543.1.1 绘制线形图 543.1.2 颜色设置 553.1.3 线型设置 563.1.4 坐标点设置 573.1.5 线宽设置 593.2 其他图形 593.2.1 散点图 593.2.2 柱形图 613.2.3 条形图 633.2.4 饼图 643.2.5 直方图 653.2.6 箱线图 673.3 自定义设置 693.3.1 图例设置 693.3.2 坐标网格设置 703.3.3 坐标系设置 713.3.4 样式设置与注解 723.3.5 RC设置 733.4 子图 743.4.1 创建子图 743.4.2 子图坐标系设置 763.4.3 图形嵌套 773.5 绘制三维图形 78小结 81习题 82实验 82第4章 Pandas数据分析 894.1 Pandas数据结构 894.2 DataFrame基本功能 944.3 读取外部数据 954.3.1 CSV文件 964.3.2 Sqlite数据库 984.4 数据帧的列操作和行操作 994.4.1 列操作 994.4.2 行操作 1014.5 高级索引 1034.5.1 重建索引 1034.5.2 更换索引 1064.5.3 层次化索引 1074.6 Pandas数据运算 1084.6.1 算术运算 1084.6.2 函数应用与映射运算 1094.6.3 排序 1114.6.4 迭代 1134.6.5 唯一值与值计数 1154.7 统计函数 1164.7.1 描述性统计 1164.7.2 变化率 1194.7.3 协方差 1204.7.4 相关性 1204.7.5 数据排名 1214.8 分组与聚合 1224.8.1 分组 1224.8.2 聚合 1244.9 透视表与交叉表 1274.9.1 透视表 1274.9.2 交叉表 128小结 129习题 129实验 129第5章 数据预处理 1345.1 数据清洗 1345.1.1 重复值 1345.1.2 缺失值 1355.1.3 异常值 1405.2 合并连接与重塑 1425.2.1 merge合并 1425.2.2 concat合并 1445.2.3 combine_first合并 1465.2.4 数据重塑 1475.3 数据变换 1495.3.1 虚拟变量 1495.3.2 函数变换 1505.3.3 连续属性离散化 1515.3.4 规范化 1525.3.5 随机采样 154小结 156习题 156实验 156第6章 Sklearn机器学习 1626.1 术语 1626.2 Sklearn 1646.2.1 Sklearn数据集 1656.2.2 Sklearn常用算法 1716.2.3 数据预处理 1756.2.4 数据集拆分 1776.2.5 模型评估 1776.2.6 Sklearn常用方法 1786.2.7 模型的保存和载入 1796.3 降维 1796.3.1 PCA（主成分分析） 1796.3.2 LDA（线性评价分析） 1816.4 回归 1826.4.1 线性回归 1836.4.2 逻辑回归 1846.4.3 回归决策树 1856.5 分类 1866.5.1 朴素贝叶斯 1876.5.2 分类决策树 1886.5.3 SVM（支持向量机） 1896.5.4 神经网络 1906.5.5 K?近邻算法 1916.6 聚类 1926.6.1 K?means算法 1936.2.2 DBSCAN 194小结 195习题 195实验 196参考文献 200

数据的价值越来越被公众认可和推崇，而数据分析的作用就是通过一定的方法找出数据的价值。近年来，随着大数据技术和人工智能技术的发展，Python已经成为数据科学领域重要的语言和工具。Python是一种面向对象、解释型的计算机程序设计语言，其语法简洁清晰、成熟稳定。Python重要的是具有丰富和强大的库，例如在数据分析领域的NumPy、Matplotlib、Pandas和Sklean等，这些库基本上包含了数据分析的所有方面，为数据分析提供了强大的功能支持。有了这些数据分析库，就可以非常容易地对数据进行分析，不再需要从基础做起，大大降低了数据分析的难度和复杂度。本书主要讲解使用Python以及Python的库进行数据分析的技术，全书共分为6章，主要内容如下：第1章Python数据分析概述，主要讲解数据分析的相关概念及其应用、Python在数据分析领域的优势、Python数据分析的第三方类库、Python数据分析环境库的安装、Jupyter Notebook工具的基本使用。第2章NumPy数值计算，主要讲解NumPy数组的概念，NumPy数组的创建方法、属性和数据类型，常用数组操作方法的使用，数组的切片和索引方法，数组的各类运算方法和使用，NumPy的线性代数运算函数，数组的存取操作方法。第3章Matplotlib数据可视化，主要讲解线形图的绘制，线形图的线的颜色、线型、坐标点、线宽设置；散点图、柱状图、条形图、饼图、直方图、箱线图的绘制；图例、坐标网格、坐标系、样式的设置，样式、RC设置和文本注解；子图的绘制、子图坐标系的设置、图形嵌套；三维图形的绘制。第4章Pandas数据分析，主要讲解Pandas的数据结构，常用的DataFrame数据结构；DataFrame的基本功能，DataFrame的行操作与列操作；Pandas操作外部数据的方法，读取CVS、数据库数据的方法；DataFrame的重建索引、更换索引和层次化索引的使用；Series、DataFrame的数据运算，函数应用与映射、排序、迭代方法；描述性统计函数，协方差、相关性等的计算方法；分组与聚合的概念、分组聚合的方法使用；透视表、交叉表的方法。第5章数据预处理，主要讲解数据清洗的概念和方法，重复值、缺失值和异常值的检测与处理；DataFrame对象的合并连接与重塑方法；数据变换的种类、常用的数据变换方法。第6章Sklearn机器学习，主要讲解机器学习的有关概念，Sklearn数据集，Sklearn数据预处理，降维、回归、聚类和分类算法，模型的选择、训练、预测和评估等。本书配有完善的教学资源，包括教学课件、电子教案、教学大纲、教学计划、实验参考、习题答案等，可以在http://www.tdpress.com/51eds中下载。在教学过程中如果遇到任何问题，可以通过电子邮箱[email protected]与作者进行交流。本书由广东岭南职业技术学院吴道君、广西民族师范学院朱家荣任主编，信阳学院毛凤翔、洛阳师范学院郭洪涛、哈尔滨华务学院宋毅和孙海龙任副主编，其中宋毅编写了第1章， 吴道君编写了第2章，朱家荣编写了第3章，毛凤翔编写了第4章，孙海龙编写了第5章，郭洪涛编写了第6章。全书由王庆喜主审。本书得到相关领导、同事和有关学生的热情帮助和支持，在此向他们表示衷心的感谢。由于时间仓促，编者水平有限，书中难免存在疏漏和不足之处，敬请读者批评指正。编 者 2019年5月