Python数据挖掘实战——数据陷阱与异常检测

以数据视角，发现谎言、造假、陷阱和异常，让您练就一双洞悉真相的慧眼。理论与实践结合：以统计学常用理论，以及本福特定律、规模法则、诺贝尔经济学奖、AP聚类等理论为基础，结合Python编程，进行数据挖掘。案例实用：以需求为导向，精选与日常工作生活息息相关的公司年报、公司财务、经济、电商等方向案例。案例易复现：图、文、代码、表格并茂，代码注释完整、讲解详细，结果可轻易复现。

全书以识别数据谎言、造假和欺诈为目标，以数据挖掘为技术手段，以Python编程语言为实现工具，完整展现了数据挖掘的全过程。在业务层面，涉及互联网、财务、税务、审计、银行、电商、社保等行业具体应用场景。在技术层面，涉及统计分析、机器学习、深度学习等建模方法。本书具有“庞杂数据可视化，复杂模型简单化，技术语言通俗化”的特点。每个章节开始，综合运用各类图表进行可视化展示，帮助读者对庞杂的数据集有直观认识。在算法层面，将使用到的数学模型进行简化，用形象的比喻、简化的公式、简洁的图表等揭示复杂的算法原理。

刘宁，深圳大学信号与信息处理专业硕士研究生毕业，目前主要从事智慧城市、数字政府建设等工作。曾出版《Python大数据分析与应用实战》、《高维信息几何与几何不变量》等书籍，发表SCI论文“Content-based image retrieval using high-dimensional information geometry”，获开源软件设计大赛大奖等。

第 1章 Python编程基础知识 …………………………………………………………… 11. 1 Python编程快速入门 ……………………………………………………………… 31. 1. 1 快速入门的几个问题 ……………………………………………………… 31. 1. 2 安装 Anaconda ……………………………………………………………… 31. 1. 3 第一个案例 ………………………………………………………………… 61. 2 常见类型数据载入 ………………………………………………………………… 81. 2. 1 读取 Excel文件 ……………………………………………………………… 81. 2. 2 读取 txt文件 ………………………………………………………………… 81. 2. 3 读取 pdf文件 ………………………………………………………………… 91. 2. 4 网页文本数据获取 ………………………………………………………… 111. 2. 5 图片数据读取 ……………………………………………………………… 121. 2. 6 视频数据读取 ……………………………………………………………… 121. 3 pandas数据处理 …………………………………………………………………… 131. 3. 1 pandas中的数据结构 ……………………………………………………… 131. 3. 2 创建 DateFrame数据表 …………………………………………………… 141. 3. 3 查看数据集基本信息 ……………………………………………………… 151. 3. 4 增加行、列 ………………………………………………………………… 171. 3. 5 删除行、列 ………………………………………………………………… 191. 3. 6 筛选 ……………………………………………………………………… 201. 3. 7 选择指定数据 ……………………………………………………………… 221. 3. 8 修改列名 …………………………………………………………………… 251. 3. 9 索引的处理 ………………………………………………………………… 261. 3. 10 缺失值处理 ………………………………………………………………… 291. 3. 11 重复值处理 ………………………………………………………………… 331. 3. 12 替换 ………………………………………………………………………… 341. 3. 13 排序 ………………………………………………………………………… 361. 3. 14 连接与合并 ………………………………………………………………… 381. 3. 15 分列 ………………………………………………………………………… 401. 3. 16 分组 ………………………………………………………………………… 411. 3. 17 日期处理 …………………………………………………………………… 411. 3. 18 数据统计 …………………………………………………………………… 421. 3. 19 数据计算 …………………………………………………………………… 431. 3. 20 遍历 ………………………………………………………………………… 441. 3. 21 应用函数 …………………………………………………………………… 451. 4 数据呈现 …………………………………………………………………………… 461. 4. 1 折线图 ……………………………………………………………………… 461. 4. 2 柱状图 ……………………………………………………………………… 471. 4. 3 饼图 ………………………………………………………………………… 471. 4. 4 箱型图 ……………………………………………………………………… 481. 4. 5 小提琴图 …………………………………………………………………… 511. 4. 6 散点图 ……………………………………………………………………… 511. 4. 7 矩阵热力图 ………………………………………………………………… 531. 4. 8 词云图 ……………………………………………………………………… 541. 4. 9 动漫风格图表 ……………………………………………………………… 55本章小结 …………………………………………………………………………………… 62第 2章 不同阶段常见的数据陷阱 …………………………………………………… 632. 1 数据采集阶段 ……………………………………………………………………… 652. 1. 1 数据量不足 ………………………………………………………………… 652. 1. 2 选择偏差 …………………………………………………………………… 672. 1. 3 幸存者偏差 ………………………………………………………………… 672. 1. 4 中心极限定理 ……………………………………………………………… 672. 2 数据分析阶段 ……………………………………………………………………… 692. 2. 1 大数定律 …………………………………………………………………… 692. 2. 2 蒙地卡罗谬误 ……………………………………………………………… 702. 2. 3 误判相关因果 ……………………………………………………………… 752. 2. 4 忽略均值回归 ……………………………………………………………… 772. 2. 5 谁在偷懒 …………………………………………………………………… 782. 2. 6 蒙提 ·霍尔悖论 …………………………………………………………… 812. 2. 7 黑天鹅事件 ………………………………………………………………… 832. 3 数据呈现阶段 ……………………………………………………………………… 832. 3. 1 选择性呈现 ………………………………………………………………… 832. 3. 2 辛普森悖论 ………………………………………………………………… 852. 3. 3 用图表改变数据 …………………………………………………………… 892. 4 数据建模中的常见问题 ………………………………………………………… 912. 4. 1 忽略异常值 ………………………………………………………………… 912. 4. 2 过拟合与欠拟合 …………………………………………………………… 922. 4. 3 如何应对数据量不足 ……………………………………………………… 952. 4. 4 非均衡数据处理 …………………………………………………………… 96本章小结 …………………………………………………………………………………… 97目 录第 3章 利用本福特定律分析公司年报 ……………………………………………… 993. 1 准备工作 …………………………………………………………………………… 1013. 1. 1 财报造假识别理论 ———本福特定律 ……………………………………… 1013. 1. 2 建模思路 …………………………………………………………………… 1023. 1. 3 编程环境 …………………………………………………………………… 1023. 2 利用本福特定律判断 Meta公司年报可信度 ………………………………… 1033. 2. 1 获取 Meta公司年报数据 ………………………………………………… 1043.2.2 “全选、复制 ”网页文本 …………………………………………………… 1053.2.3 “正则表达式 ”提取网页中的数字 ……………………………………… 1063. 2. 4 提取首位数字 ……………………………………………………………… 1083. 2. 5 利用本福特定律建模 ……………………………………………………… 1103. 2. 6 可信度判断 ………………………………………………………………… 1113. 2. 7 形成结论 …………………………………………………………………… 1143. 3 利用本福特定律分析 A股上市公司的年报 ………………………………… 1143. 3. 1 载入 pdf格式的公司年报 ………………………………………………… 1143. 3. 2 中文年报文本数据分析 …………………………………………………… 1153. 3. 3 年份数字对本福特定律的影响 …………………………………………… 1183. 3. 4 提取表格内数字并分析 …………………………………………………… 1203. 3. 5 结论 ………………………………………………………………………… 1233. 4 本福特定律的延伸 ……………………………………………………………… 1243. 4. 1 还有哪些数据可能符合本福特定律 ……………………………………… 1243. 4. 2 本福特定律应用场景 ……………………………………………………… 124本章小结 ………………………………………………………………………………… 125第 4章 利用规模法则发现财务数据异常 ………………………………………… 1274. 1 规模法则 …………………………………………………………………………… 1294. 1. 1 认识规模法则 ……………………………………………………………… 1294. 1. 2 如何将规模法则用于监测公司财务数据异常 …………………………… 1294. 2 探索性数据分析 ………………………………………………………………… 1314. 2. 1 获取 A股上市公司财务数据 …………………………………………… 1314. 2. 2 缺失数据可视化 …………………………………………………………… 1334. 2. 3 统一收入单位 ……………………………………………………………… 1344. 2. 4 数据集分布形态 …………………………………………………………… 1354. 2. 5 数据集关系分析 …………………………………………………………… 1364. 2. 6 对数变换 …………………………………………………………………… 1374. 3 利用规模法则进行数据建模 …………………………………………………… 1394. 3. 1 变量选取 …………………………………………………………………… 1394. 3. 2 线性回归 …………………………………………………………………… 1404. 3. 3 财务数据异常的公司名单 ………………………………………………… 142Python数据挖掘实战 ———数据陷阱与异常检测本章小结 ………………………………………………………………………………… 145第 5章 利用决策树进行信贷数据异常检测 ……………………………………… 1475. 1 数据可视化与异常数据处理 …………………………………………………… 1495. 1. 1 数据集概览 ………………………………………………………………… 1495. 1. 2 数据缺失情况统计 ………………………………………………………… 1515. 1. 3 利用直方图查看数据分布 ………………………………………………… 1535. 1. 4 利用箱型图查看异常数据 ………………………………………………… 1565. 1. 5 异常值处理 ………………………………………………………………… 1585. 1. 6 利用小提琴图展示异常值处理后的数据 ………………………………… 1595. 2 利用决策树进行逾期风险预判 ………………………………………………… 1615. 2. 1 决策树建模流程 …………………………………………………………… 1615. 2. 2 决策树原理简介 …………………………………………………………… 1615. 2. 3 模型实现 …………………………………………………………………… 1665. 2. 4 模型优化 …………………………………………………………………… 172本章小结 ………………………………………………………………………………… 177第 6章 利用 AP聚类算法识别电商平台刷单行为 ……………………………… 1796. 1 数据建模 …………………………………………………………………………… 1816. 1. 1 问题转换思路 ……………………………………………………………… 1816. 1. 2 数据获取 …………………………………………………………………… 1816. 1. 3 建模工具 …………………………………………………………………… 1836. 2 探索性数据分析 ………………………………………………………………… 1846. 2. 1 商品颜色分析 ……………………………………………………………… 1846. 2. 2 商品尺码分析 ……………………………………………………………… 1876. 2. 3 评论时间异常分析 ………………………………………………………… 1886. 2. 4 利用词袋模型分析 ………………………………………………………… 1906. 3 利用 AP聚类识别刷评论行为 ………………………………………………… 1946.3.1 AP聚类基本概念 ………………………………………………………… 1946. 3. 2 模型设计 …………………………………………………………………… 1956. 3. 3 程序实现 …………………………………………………………………… 1966. 3. 4 聚类算法 …………………………………………………………………… 204本章小结 ………………………………………………………………………………… 204

Python数据挖掘