Python数据分析实战——思路详解与案例实践

1.知识点案例化，将不同分析方法融入案例中，培养读者的数据思维。2.基于完整的数据分析流程，呈现多种业务场景的应用。3.双色印刷，精彩呈现代码与知识要点。4.更有基于chatGPT的数据分析实践。

本书在简要介绍数据分析的统计学基础后，结合实例阐释线性回归、逻辑回归、决策树、随机森林、聚类分析、主成分分析、关联规则挖掘等常用算法的原理与应用，并通过覆盖诸多业务场景的案例，如零售超市业绩评估、广告营销渠道分析、网约车运营分析、网站改版分析等，呈现数据分析的思路与方法。最后，本书还探索了ChatGPT在数据分析中的应用。无论是数据分析初学者、数据营销分析人员、数据产品经理，还是数据科学相关专业学生，都可通过本书了解并学习实用的数据分析知识和技能。

无

第1章　数据分析的统计学基础  1
1.1　统计学中的一些概念  2
1.1.1　总体与样本  2
1.1.2　参数与统计量  2
1.1.3　变量的度量类型  3
1.1.4　变量的分布类型  3
1.1.5　正态分布  4
1.1.6　Z分数  4
1.2　假设检验基础  6
1.2.1　假设检验的基本要点  7
1.2.2　大数定律和中心极限定理  9
1.3　Z检验  10
1.3.1　基本原理  10
1.3.2　Python实现Z检验  11
1.4　t检验  13
1.4.1　单样本t检验  13
1.4.2　双样本t检验  14
1.5　方差分析  17
1.5.1　基本原理  18
1.5.2　Python 实现方差分析  20
1.6　卡方检验  23
1.7　相关分析（相关系数与热力图）  24
1.7.1　Pearson相关系数  25
1.7.2　热力图  26
1.7.3　相关系数的显著性检验  27

第2章　多元线性回归实现房价预测  29
2.1　线性回归  30
2.1.1　简单线性回归原理  30
2.1.2　多元线性回归  31
2.2　Python实现多元线性回归  33
2.3　模型分析与评估  36
2.3.1　模型的评估指标（R方与调整R方）  36
2.3.2　回归系数的显著性检验  37
2.3.3　虚拟变量的设置  38
2.3.4　多重共线性的诊断  40
2.3.5　残差分析  43
2.3.6　线性回归模型评估小结  48

第3章　逻辑回归预测电信客户流失情况  49
3.1　逻辑回归  50
3.1.1　从相关性分析到逻辑回归  51
3.1.2　逻辑回归公式原理  53
3.2　Python中实现逻辑回归  57
3.3　分类模型的评估  60
3.3.1　模型预测  60
3.3.2　一致对、不一致对与相等对  61
3.3.3　混淆矩阵  63
3.3.4　ROC曲线与AUC值  67

第4章　决策树实现信贷违约预测  70
4.1　决策树的原理  71
4.1.1　节点、分支与深度  71
4.1.2　决策树的分类思想  72
4.1.3　信息熵、条件熵与信息增益  74
4.2　决策树的算法  76
4.2.1　ID3算法与Python实现  77
4.2.2　可视化决策树（传统和交互）   77
4.2.3　C4.5算法与Python实现  80
4.2.4　CART算法建树原理  84
4.3　决策树实现信贷违约预测的具体代码  86
4.3.1　网格搜索调优  89
4.3.2　优化决策边界  91

第5章　随机森林预测宽带订阅用户离网  94
5.1　集成学习简介  95
5.1.1　概述：Bagging与Boosting  96
5.1.2　Bagging原理与Python实现  97
5.2　随机森林的原理  100
5.3　随机森林预测宽带订阅用户离网的具体代码  103

第6章　深入浅出层次聚类  106
6.1　聚类算法概述  107
6.1.1　聚类算法的应用场景  107
6.1.2　聚类算法的变量特点  107
6.1.3　几种常用的聚类算法  108
6.2　聚类算法的分类逻辑  108
6.2.1　欧氏距离  108
6.2.2　余弦相似度  109
6.2.3　闵氏距离  110
6.3　层次聚类  110
6.3.1　层次树怎么看？  110
6.3.2　点与点、簇与簇之间的距离  113
6.3.3　Python实现层次聚类  117
6.4　聚类模型的评估  120
6.4.1　轮廓系数  120
6.4.2　平方根标准误差  121
6.4.3　R方  121
6.4.4　评估指标的选择  121
6.5　Python实现聚类算法评估  121
6.6　结果分析  123

第7章　K-Means聚类实现客户分群  124
7.1　K-Means聚类原理  125
7.2　Python实现K-Means聚类  126
7.3　数据转换方法  127
7.4　模型评估  131
7.5　结果分析  132

第8章　基于不平衡分类算法的反欺诈模型  134
8.1　不平衡分类背景  135
8.2　欠采样法  136
8.2.1　随机欠采样法  137
8.2.2　Tomek Link法  137
8.3　过采样法  138
8.3.1　随机过采样法  138
8.3.2　SMOTE法  138
8.4　综合采样法  139
8.5　Python代码实战  140
8.5.1　数据探索  140
8.5.2　过采样处理  141
8.5.3　决策树建模  142
8.5.4　结果分析与优化  143

第9章　主成分分析实现客户信贷评级  145
9.1　PCA中的信息压缩  146
9.2　主成分分析原理  147
9.2.1　信息压缩的过程  147
9.2.2　主成分的含义  149
9.3　Python实现主成分分析  150

第10章　Apriori算法实现智能推荐  155
10.1　常见的推荐算法  156
10.2　购物篮分析简介  156
10.3　关联规则  158
10.3.1　关联三度  158
10.3.2　Apriori算法原理  160
10.4　Python实现关联规则  160
10.4.1　数据探索  160
10.4.2　Apriori实现关联规则  162
10.4.3　筛选互补品与互斥品  163
10.5　根据关联规则结果推荐商品  164
10.5.1　以获得最高的营销响应率为目标  164
10.5.2　以最大化总体销售额为目标  165
10.5.3　用户并未产生消费，为其推荐某样商品  166
10.6　使用Apriori算法的注意事项  166

第11章　从变量到指标体系  168
11.1　变量与指标  169
11.2　从单个指标到指标体系  170

第12章　零售超市业绩评估  171
12.1　增长率分析法  172
12.2　比例分析法  175
12.3　投入产出比法  177
12.4　评估小结  178

第13章　广告营销渠道分析  179
13.1　漏斗分析法  180
13.2　整体结构分析法  183
13.3　渠道分析小结  184

第14章　网约车司机单日工作情况分析  185
14.1　单维度分类  187
14.2　两维度分类  189
14.3　数据解读小结  196

第15章　网约车城市运营情况分析  198
15.1　多维度分析法  199
15.2　指标关系梳理  200
15.3　多指标分析顺序  201
15.3.1　各城市完单情况分析  201
15.3.2　各城市过程指标分析  203
15.3.3　转化率分析  204
15.3.4　供需端分析  208
15.4　多维度分析小结  215

第16章　AB测试-教育类网站改版分析  216
16.1　AB测试原理  217
16.2　问题探索  219
16.3　改版效果检测  223
16.3.1　分层抽样函数  224
16.3.2　主页点击率  226
16.3.3　课程详情页注册率和浏览时长  226
16.3.4　课程学习页完课率  228
16.3.5　分析汇总  229
16.4　AB测试的不足  229

第17章　用户价值分析  232
17.1　RFM分析基础  233
17.1.1　R、F、M的打分方式  233
17.1.2　RFM模型的使用  235
17.2　Python实现RFM模型  235
17.2.1　计算R值  237
17.2.2　计算F值  238
17.2.3　计算M值  238
17.2.4　维度打分  239
17.2.5　客户分层  240
17.3　RFM模型指导实际业务  241
17.3.1　F、M 矩阵分析  242
17.3.2　识别对价格敏感的用户  243
17.3.3　识别囤货用户  244
17.3.4　把R也考虑进来  245
17.4　RFM小结  245

第18章　用户留存分析  247
18.1　同期群分析基础  248
18.1.1　从同期群分析表看餐厅经营状况  248
18.1.2　从另一个视角看餐厅经营状况  249
18.2　Python实现同期群分析  250
18.2.1　神奇的 intersect1d 和 setdiff1d  250
18.2.2　单月新增和留存情况  251
18.2.3　循环构建每个月的新增和留存  253
18.2.4　延伸应用  257

第19章　ChatGPT在数据分析领域的应用  259
19.1　ChatGPT的提问框架  260
19.2　用ChatGPT做数据分析  261
19.2.1　GPT处理数据  261
19.2.2　GPT实现假设检验  264
19.2.3　GPT实现分类算法  267
19.3　用ChatGPT分析业务问题  269
19.4　ChatGPT应用小结  272

在这个数据驱动的时代，数据分析已经成为社会生产与经营中不可或缺的一部分。如何善用数据，挖掘其中的规律与趋势，不仅是管理者与决策者最为关注的，更是数据科学工作者所的技能。
本书精选诸多有代表性的行业案例，将相关算法原理解读与实际应用相结合，旨在帮助读者快速学习数据分析的核心技法与精髓，在不同领域中更准确地发掘数据背后所隐含的巨大价值。
本书共19章，在介绍数据分析的统计学基础之上，以各种实例演示数据分析常用算法，如线性回归、逻辑回归、决策树、随机森林、聚类分析、主成分分析、关联规则挖掘等。除此以外，本书还关注数据分析在多种业务领域的实践，从零售超市业绩评估、广告营销渠道分析，到网约车运营分析、网站改版分析等。这些不同领域的案例呈现了数据分析的工作思路与方法，无论读者是有学习需求，还是想实战演练，本书都会提供有益的支持。
在最后一章中，笔者还特别介绍了ChatGPT在数据分析中的应用。相信这一章能为读者学习与实践提供更多的思路和灵感。
1.本书的读者对象
数据分析初学者；
数据营销分析人员；
数据产品经理；
高校学生。
2.如何阅读本书
数据分析离不开编程工具的支持，为方便读者学习，笔者提供了数据分析相关的Python基础、第三方库Numpy和Pandas的使用（数据处理与清洗），以及探索性数据分析与绘图（变量处理与报表制作）等编程相关内容的电子文档。因此，针对不同的读者，除正序阅读外，本书还可有以下三种阅读方式。
（1）初级数据工作者：阅读完电子版的Python基础后，直接跳到第11章进行阅读，以实际业务案例为导向，遇到不懂或遗忘的知识点再往前翻看。
（2）具备Python编程基础和统计学基础的读者：直接从第2章的数据分析实战案例开始读起，加深对相关分析算法的应用理解。
（3）无任何基础的初学者：从电子版的Python基础内容开始，然后逐章学习，由基础到实践，系统地学习数据分析。
3.勘误和支持
由于笔者水平有限，书中难免会出现不足之处，恳请读者批评指正。如果有更多的宝贵意见，欢迎发送邮件至[email protected]。
关于本书的配套资源（Python基础、各章数据和代码），读者可访问化学工业出版社官网>服务>资源下载页面（www.cip.com.cn/Service/Download），搜索本书并获取配书资源的下载链接。
4.致谢
本书的构思和写作过程得到了很多老师、同行和朋友的启发与帮助，在此表示感谢。
此外，笔者还要感谢家人的关心和理解，正是他们的支持与付出，才能让笔者安心写作。笔者的母亲是本书的第一个读者，她从零开始，通过本书掌握了Python编程基础并入门数据分析，另外还针对一些描述不清及有歧义的地方提出了改进建议。
谨以此书，献给在摸索中努力前行的朋友们！

编著者