数据挖掘基础

本书讲述了数据挖掘概念，数据挖掘的常用算法，包括分类方法、聚类方法和关联规则方法。本书注重实战，给出了综合实战方法和在不同行业的应用案例。 

本书介绍了数据挖掘的基本概念，包括数据挖掘的常用算法、常用工具、用途和应用场景及应用状况，
讲述了常用数据挖掘方法，如分类、聚类、关联规则的概念、思想、典型算法、应用场景等。此外，本书
还从实际应用出发，讲解了基于日志的大数据挖掘技术的原理、工具、应用场景和成功案例。日志挖掘技
术现在已得到了广泛的运用。
通过以上内容的学习，读者将了解数据挖掘的基本概念、思想和算法，并掌握其应用要领。本书可以
作为培养应用型人才的课程教材，也可作为相关开发人员的自学教材和参考手册。

本书讲述了数据挖掘概念，数据挖掘的常用算法，包括分类方法、聚类方法和关联规则方法。本书注重实战，给出了综合实战方法和在不同行业的应用案例。

第1章  数据挖掘概念

1.1  数据挖掘概述

1.1.1 
什么是数据挖掘

1.1.2 
数据挖掘常用算法概述

1.1.3 
数据挖掘常用工具概述

1.2  数据探索

1.2.1 
数据概述

1.2.2 
数据质量

1.2.3 
数据预处理

1.3  数据挖掘的应用

1.3.1 
数据挖掘现状及发展趋势

1.3.2 
数据挖掘需要解决的问题

1.3.3 
数据挖掘的应用场景

1.4  作业与练习

参考文献

第2章  分类

2.1  分类概述

2.1.1 
分类的基本概念

2.1.2 
解决分类问题的一般方法

2.1.3 
决策树

案例：Web机器人检测

2.1.4 
模型的过分拟合

2.2  贝叶斯决策与分类器

2.2.1 
规则分类器

2.2.2 
分类中贝叶斯定理的应用

2.2.3 
分类中朴素贝叶斯的应用

2.3  支持向量机

2.3.1 
边缘超平面

2.3.2 
线性支持向量机SVM

2.3.3 
非线性支持向量机SVM

2.4  分类在实际场景中的应用案例

案例一：如何解决文章主题关键字与搜索引擎关键字带来的检索结果差异

案例二：甄别新金融交易方式的欺诈行为

案例三：在线广告推荐中的分类

2.5  作业与练习

参考文献

第3章  聚类

3.1  聚类概述

3.1.1 
聚类的基本概念

3.1.2 
聚类算法

3.2  聚合分析方法

3.2.1 
欧氏距离

3.2.2 
聚合过程

3.2.3 
聚类树

3.2.4 
聚合分析方法应用例子

3.3  聚类在实际场景中的应用案例

3.4  聚类的实现例子

3.5  作业与练习

参考文献

第4章  关联规则

4.1  关联规则概述

4.1.1 
经典案例导入

4.1.2 
关联规则的基本概念和定义

4.1.3 
关联规则的分类

4.2  关联规则的挖掘过程

4.2.1 
知识回顾

4.2.2 
频繁项集产生

4.2.3 
强关联规则

4.2.4 
关联规则评价标准

4.3  关联规则的Apriori算法

4.3.1 
知识回顾

4.3.2 
Apriori算法的核心思想

4.3.3 
Apriori算法描述

4.3.4 
Apriori算法评价

4.3.5 
Apriori算法改进

4.4  关联规则的FP-growth算法

4.4.1 
构建FP树

4.4.2 
从FP树中挖掘频繁项集

4.5  实战：关联规则挖掘实例

4.5.1 
关联规则挖掘技术在国内外的应用现状

4.5.2 
关联规则应用实例

4.5.3 
关联规则在大型超市中应用的步骤

4.6  作业与练习

参考文献

第5章  综合实战—日志的挖掘与应用

5.1  日志概念

5.1.1 
日志是什么

5.1.2 
日志能做什么

5.2  日志处理

5.2.1 
产生日志

5.2.2 
传输日志

5.2.3 
存储日志

5.2.4 
分析日志

5.2.5 
日志规范与标准

5.3  日志分析原理及工具

5.3.1 
日志分析原理

5.3.2 
日志分析工具

5.3.3 
日志分析系统规划建设

5.4  日志挖掘应用

5.4.1 
安全运维

5.4.2 
系统健康分析

5.4.3 
用户行为分析

5.4.4 
业务分析设计

5.5  日志分析挖掘实例

5.6  作业与练习

参考文献

第6章  数据挖掘应用案例

6.1  电力行业采用聚类方法进行主变油温分析

6.1.1 
需求背景及采用的大数据分析方法

6.1.2 
大数据分析方法的实现过程

6.1.3 
大数据分析方法的实现结果

6.2  银行信贷评价

6.2.1 
简介

6.2.2 
神经网络模型

6.2.3 
实证检验

6.3  指数预测

6.3.1 
金融时间序列概况

6.3.2 
小波消噪

6.3.3 
向量机

6.3.4 
指数预测

6.4  客户分群的精准智能营销

6.4.1 
挖掘目标

6.4.2 
分析方法和过程

6.4.3 
建模仿真

6.5  使用WEKA进行房屋定价

6.6  作业与练习

参考文献

附录A  大数据和人工智能实验环境

附录B  Hadoop环境要求

附录C  名词解释

 

 

 

前  言 数据挖掘是知识发现不可缺少的部分，是将未加工的数据转换为有用信息的过程。为了贯彻国家大数据战略，尽快帮助高职院校学生学习和掌握数据挖掘的基本知识以及基本应用技能，我们以通俗、简明并结合实际应用的方式编写了《数据挖掘基础》教材。《数据挖掘基础》教材讲述了数据挖掘概念、数据挖掘的常用方法，包括分类方法、聚类方法和关联规则方法。此外，本教材还从实际应用出发，讲解了日志的挖掘与应用方法。分类是数据挖掘中的一种重要方法，在给定数据基础上构建分类函数或分类模型，该函数或模型能够将数据归类为给定类别中的某一类别，就是分类。一般通过构建分类器实现具体分类，分类器是对样本进行分类方法的统称。本教材将对分类的基本概念及知识，如决策树、分类器、贝叶斯分类器、支持向量机等内容进行讲解和研究。聚类的过程，就是将相似数据归并到一类的过程，形成同类对象具有共同特征，不同类对象之间有显著区别。聚类的目的是通过数据间的相似性将数据归类，并根据数据的概念描述来制定对应的策略。本教材将对聚类基本概念及常用算法进行讲解，着重研究了聚合分析方法，并介绍了聚类方法应用场景。此外，还详细讲解了聚类方法的实现例子。关于关联规则，我们从营销界流传的“啤酒与尿布”经典案例入手，介绍关联规则的概念、定义和分类，并分析了关联规则的挖掘过程，包括频繁项集产生、强关联规则和关联规则评价标准，重点介绍了关联规则为经典的算法—Apriori算法，并分析了关联规则挖掘技术在国内外的应用现状，以及关联规则挖掘实例。日志分析挖掘的综合实战章节讲述了日志概念、日志处理、日志分析原理及工具、日志挖掘应用，以及日志分析挖掘实例。我们衷心希望本教材可以帮助读者学习到数据挖掘的基础知识，掌握数据挖掘的基本方法，以及体会到数据挖掘在实际应用中的精妙之处。感谢编写组的全体老师，他们相互鼓励、相互学习、相互促进，为《数据挖掘基础》教材的编写付出了辛勤的劳动！本书的问世也要感谢清华大学出版社王莉编辑给予的宝贵意见和指导。《数据挖掘基础》编写组      2018年5月