描述
开 本: 16开纸 张: 胶版纸包 装: 平装-胶订是否套装: 否国际标准书号ISBN: 9787121285318丛书名: CDA数据分析师系列丛书
1.1 数据分析概述 .. 2
1.1.1 数据分析过程 2
1.1.2 数据分析的商业驱动 3
1.2 数据分析与挖掘方法分类介绍 . 5
1.2.1 描述性——无监督的学习 . 7
1.2.2 预测性——有监督的学习 .. 10
1.3 数据分析的方法论 . 12
1.3.1 数据挖掘的项目管理方法论：CRISP-DM 13
1.3.2 数据整理与建模的方法论：SEMMA .. 14
1.3.3 SAS EG 和SPSS 任务菜单编排与SEMMA 之间的关系. 16
第2 章 描述数据特征 .. 19
2.1 认识数据类型 20
2.2 单变量描述统计方法 21
2.2.1 分类变量的描述 21
2.2.2 连续变量的描述 22
2.3 创建频数报表 35
2.4 生成汇总统计量 .. 38
2.5 用汇总表任务生成汇总报表 41
2.6 绘制条形图 . 46
2.7 绘制地图 .. 53
2.8 使用SPSS 进行描述统计 .. 55
2.8.1 频率过程 .. 56
2.8.2 描述过程 .. 57
2.8.3 探索过程 .. 58
2.8.4 P-P 图与Q-Q 图 58
2.9 使用SPSS 绘制统计图形 .. 60
2.9.1 作图方法 .. 60
2.9.2 饼图、柱图与条图 .. 64
2.9.3 线图、高低图和双轴图 70
2.9.4 散点图 73
第3 章 描述性数据分析/挖掘方法 . 75
3.1 客户细分方法介绍 . 76
3.1.1 客户细分的意义 76
3.1.2 根据客户利润贡献进行划分 . 77
3.1.3 根据个人或公司的生命历程进行划分 78
3.1.4 根据客户的产品偏好进行划分 79
3.1.5 根据客户交易/消费行为进行划分 . 80
3.1.6 根据客户的多维行为属性细分 81
3.1.7 展现客户/产品结构的战略细分 .. 81
3.1.8 客户细分：综合运用 . 82
3.2 连续变量间关系探索与变量约减 . 82
3.2.1 多元统计基础 . 82
3.2.2 多元变量压缩的思路 . 87
3.2.3 主成分分析 .. 89
3.2.4 因子分析 . 103
3.2.5 对应分析 . 112
3.2.6 最优尺度分析 .. 119
3.2.7 多维尺度分析 .. 124
3.3 聚类分析 133
3.3.1 基本逻辑 . 134
3.3.2 系统聚类 . 135
3.3.3 快速聚类 . 146
3.3.4 两步聚类 . 155
第4 章 预测性数据分析方法 .. 161
4.1 假设检验概念 . 162
4.1.1 统计推断基本概念 164
4.1.2 变量分布的图形探索 .. 165
4.1.3 均值的置信区间 . 167
4.1.4 假设检验基础 .. 168
4.1.5 T 检验 . 169
4.2 构造对连续变量的预测模型 . 174
4.2.1 方差分析（ANOVA） 174
4.2.2 线性回归 . 190
4.2.3 线性回归的模型诊断 .. 203
4.2.4 线性回归的全流程 211
4.3 构造对二分类变量的预测模型 217
4.3.1 分类变量之间的相关性检验 .. 217
4.3.2 逻辑回归 . 224
第5 章 时间序列 .. 240
5.1 时间序列的趋势分解法 241
5.1.1 趋势分解法简介 . 241
5.2.2 使用SAS EG 进行时间序列趋势分解 .. 242
5.2.3 使用SPSS 进行时间序列趋势分解 244
5.2 平稳时间序列（ARMA）模型设定与识别 . 245
5.2.1 平稳时间序列定义 245
5.2.2 平稳时间序列模型建模 . 246
5.2.3 ARMA 的模型设定与识别 .. 247
5.3 非平稳时间序列（ARIMA）模型设定与识别 .. 250
5.4 SAS EG 时间序列建模步骤 .. 252
5.5 SPSS 时间序列建模步骤 . 258
5.5.1 SPSS 构造ARIMA 模型使用的任务菜单 .. 258
5.5.2 “定义日期”任务 .. 260
5.5.3 “序列图”任务 261
5.5.4 “自相关”任务 262
5.5.5 “创建模型”任务 .. 263
5.5.6 “使用模型”任务 .. 267
5.5.7 其他内容 . 267
附录A 数据说明 .. 271
附录B CDA 数据分析师致力于最好的数据分析人才建设 .. 278
参考文献 282
在CDA（注册数据分析师）Level I 级教材付诸印刷之际，关于数据分析这个职业及其价值的报道就有很多。比如，下面两条报道就充分体现了在大数据时代下，数据分析的价值。这在以前是从来没有过的。
LinkedIn 的最新投票结果显示，‘统计分析和数据挖掘’是2014 年最大的求职法宝。LinkedIn对全球超过3.3 亿用户的工作经历和技能进行分析，公布2014 年最受雇主喜欢、最炙手可热的25项技能，其中位列榜首的是统计分析和数据挖掘。
麦肯锡公司的一份研究预测称，到2018 年，在“具有深入分析能力的人才”方面，美国可能面临着14 万到19 万人的缺口，而“可以利用大数据分析来做出有效决策的经理和分析师” 缺口则会达到150 万人。数据科学家将成为2015 年最热门的职业。
早在2010 年2 月，肯尼斯?库克尔在《经济学人》上发表了一份关于管理信息的特别报告——《数据，无所不在的数据》，文中写道：“世界上有着无法想象的巨量数字信息，并以极快的速度增长……从经济界到科学界，从政府部门到艺术领域，很多地方都已感受到了这种巨量信息的影响。”2011 年，麦肯锡发布了《大数据：下一个具有创新力、竞争力与生产力的前沿领域》，使人们在这篇文章里认识到了数据的力量。于是，一夜之间，面向数据分析市场的新产品、新技术、新服务、新业态正在不断涌现。从个人、企业到国家层面，都把数据作为一种重要的战略资产，逐渐认识到了数据的价值，不同程度地渗透到每个行业领域和部门，大大提升了企业的经营利润，推动了经济的发展。
这是一个用数据说话的时代，也是一个依靠数据竞争的时代。目前世界500 强企业中，有90%以上都建立了数据分析部门。IBM、微软、Google 等知名公司都积极投资数据业务，建立数据部门，培养数据分析团队。各国政府和越来越多的企业意识到数据和信息已经成为企业的智力资产和资源，数据的分析和处理能力正在成为日益倚重的技术手段。
作为一个数学和统计学的强国，数据分析、数据挖掘和大数据价值挖掘行业在我国仍属于朝阳行业，数据分析人才仍然比较稀缺。各行各业在平常工作中积累的各种各样的数据分析问题仍然没有得到及时有效的解决，有些问题，还是关乎本行业发展的至关重要的问题。数据积累越来越多，期待解决分析的数据问题也越来越多，人们逐渐习惯使用数据作为决策的重要参考依据。据艾瑞的研究报告，未来与数据分析相关的就业岗位会在1000 万人左右，而目前来说国内合格的数据分析师不足5 万人，建立一个科学有效的数据分析师培训体系迫在眉睫。
在这样一个用数据说话的时代，积累了丰富的数据分析培训经验的经管之家承担起使命，几番调查研究，几番反复推演论证，在2013 年，这个大数据的“元年”，CDA 注册数据分析师应运而生！
2003 年，经管之家（原人大经济论坛）依托中国人民大学成立，在金融、管理、统计领域已积淀11 个年头，在国内享有良好声誉。
2006 年，经管之家数据分析培训中心设立，至今经历8 个春秋，建立了大陆、台湾一线师资团队，培养人才已达3 万余人。
2013 年，“中国数据挖掘与数据分析俱乐部CDMC”在经管之家旗下成立，2014 年改名为“CDA数据分析师俱乐部”。来自政府、金融、电信、零售、电商、互联网、教育等行业人士加入会员，成功举办了数十场行业聚会。紧接着，积累了数据分析培训丰富经验的经管之家在国内展开CDA 数据分析师系统培训和认证考试，成功见证了数千名数据分析师的成长。
2015 年，经管之家将继续提供高水平、多层次的数据分析培训服务，以在行业积累多年的影响力，吸引更好更多的优秀师资，瞄准行业内重要的数据分析问题和难点，攻坚突破，建立更加规范的行业培训体系，引领数据分析培训行业向规范化、有效化和前瞻化方向发展，为数据分析培训做出应有的贡献。
其实，数学（含统计）和英语一样重要，都是人们不可或缺的重要技能。既然英语全民这么重视，数学及其数据分析的技能更加需求于方方面面，更应被做大做强。让我们共同期待经管之家办成另一个数据分析的“新东方”！
前言
感谢您选择“CDA 数据分析师”LevelⅠ学习系列丛书”之《胸有成竹！数据分析的SPSS 和SASEG 进阶（第2 版）》。
该丛书按照数据分析师规范化学习体系而定，对于一名初学者，应该先掌握必要的概率、统计理论基础，包括描述性分析、推断性分析、参数估计、假设检验、方差分析、回归分析等内容，这在第一本书《从零进阶！数据分析的统计基础（第2 版）》中进行了专业详细的讲解。其次，数据分析需要按照标准流程进行，即数据的获取、储存、整理、清洗、归约等系列数据处理技术，这在《如虎添翼！数据处理的SPSS 和SAS EG 实现（第2 版）》中利用统计软件和编程技术进行了操作过程的详解。最后，经过处理的数据需要根据业务问题，利用相关方法进行建模分析，得出结果，结果检验，绘制图表并解读数据，这在《胸有成竹！数据分析的SPSS 和SAS EG 进阶（第2 版）》中进行了详细的讲解和操作分析。
CDA 数据分析师丛书整体风格是“理论＞技术＞应用”的一个学习过程，最终目的在于商业业务应用、职场数据分析，为欲从事于数据分析领域的各界人士提供了一个规范化数据分析师的学习体系。
读者对象
本书是一本面向商业数据分析初学者的教材，从具体的商业数据分析案例入手，使读者掌握数据分析的目的、理念、思路与分析步骤。本书力图淡化技术，对于方法的介绍也尽量避免涉及过多的数学内容，和高等数学相关的内容只在线形回归和主成分分析这两节中涉及到，而且都辅以图形作形象的展现。因此本书的读者只需要具有高中水平的数学基础即可。但是本书强调每种方法的假设、适用条件和与商业数据分析主题的匹配。实践教学中，发现业务经验丰富和有较好商业模式理解的学员，在学习数据分析有更好的效果，这主要原因可能是因为这类学员有较强的思辨能力、分析能力、学习目的性和质量意识，而不是简单的模仿和套用数学公式。
本书以SPSS Statistics(以下简称SPSS) 和SAS Enterprise Guide(以下简称SAS EG)为演示软件，但是操作方法可以方便的转换为其他统计软件，同时也是学习SAS 编程的捷径。
工具介绍
SPSS 作为一个入门级数据分析软件，是每个从业者必会的。其可视化界面可以很好的展现数据分析的流程。但是SPSS 的功能毕竟有限，尤其在数据清洗和整理方面更是捉襟见肘，因此需要和SAS EG 结合使用。SAS EG 是一个以项目为导向的Windows 应用软件，它被用于实现对SAS 系统大多数分析能力的快速访问。它通常会被统计专家、业务分析员以及 SAS 程序员使用。利用SAS 多平台的强大能力，SAS EG 能够使用户访问本地或SAS 服务器上的数据、管理数据、编写基本报表和汇总，做基本和复杂的数据分析，运用最高质量的SAS 图形能力，最后将结果输出或发送到SAS服务器或其他基于服务器或Windows 的应用中。在SAS EG 中进行的工作也可以容易地被其他的EG使用者分享。
通过生成SAS 代码，大多数在SAS EG 中进行的工作也可以被EG 外部的SAS 使用者共享。 SAS EG 面向企业中数据轻度使用客户，它的同类产品是SPSS。而与R、Stata 和Eviews 等科研教学类软件有明显不同。SAS EG 基本继承了SAS Base 的所有功能，可以方便地调用其他模块的程序。可以说在商业数据分析领域，SAS EG 是SAS Base 的升级换代产品。SAS EG 和SPSS 类似，都是可以直接使用鼠标点击操作的，这降低了使用人员的入门难度，而且记录脚本可以便于使用者学习SAS 语言。它的文档管理功能是目前统计软件中最强大的。其中的流程图使单次分析过程一目了然，这与SPSS 等有明显差别。SPSS 较难记录分析过程，而SAS EG 可以将分析过程记录下来，便于使用者反复使用和组织内部共享分析文档。在统计方法方面，SAS EG 菜单中实现的统计方法少而精炼，满足90%以上的商业分析需求，而且其拓展性强大，可以调用SAS 其他模块的过程，可以实现SPSS 无法很好实现的时间序列和面板数据分析。在和其他软件衔接方面，SAS EG 以SAS Base为基础，而SAS Base 在某些公司作为ETL 工具，可见SAS 具有强大的数据管理功能，可以和企业内部数据库做透明访问。
目前各大金融机构、国有企业和著名外企，尤其是咨询公司都在使用SAS 产品。SAS Base 是面向数据处理程序员的，入门难度较大，只在专门的数据分析部门使用。而SAS EG 的用户多为业务部门的工作人员，入门难度较低。在公司内部培训的过程中，发现公司数据分析人员和业务人员对学习SAS EG 有较大兴趣，部门领导也倾向于让员工多学习SAS EG 的课程。而且SAS 公司也逐步将其部分产品免费化，其中University-Edition 就是一个有益的尝试，其操作方式和SAS EG 类似。相信在统计技能大众化的今天，SAS EG 有着巨大的发展潜力。
……
数据分析的目的是为业务发展答疑解惑。他描述了“过去发生了什么”、“现在正在发生什么”和“未来可能发生什么”。根据分析的级别，分为常规报表、即席查询、多维分析（又称为钻取或者OLAP）、警报、统计分析、预报（或者时间序列预测）、预测型建模（预测性（predictive）模型）和优化
（1）常规报表：常规报表广为人知，它们通常按照一定的周期产生，对过去一段时间、一定范围内所发生的事实进行记录。它们对了解业务现状非常有用，但是却无法据此进行长期决策。标准报表主要用于回答“发生了什么”和“什么时候发生”这样的问题。典型的标准报表包括月度或季度的财务报告。
（2）即席查询：即席查询往往通过对一系列数据（组合）的要求来“回答”一些常见的业务问题。即席报表主要用于解决类似“多少”、“频次如何”和“在哪里”这样的问题。记录每种产品每天销量的定制报表就属于即席报表。
（3）多维分析（又称为钻取或者OLAP 技术）：OLAP 技术可以帮助了解更多细节信息，它可以帮助客户自己操纵数据，找出诸如“多少”、“什么”和“哪里”之类问题的答案。OLAP 技术主要解决的是“问题出在哪里”和“我如何找到问题的答案”这样的问题。例如，对不同类型的客户通话行为进行排序，找出他们的通话特征就需要运用到OLAP 技术。
（4）警报：当问题发生时你可以通过告警及时获知，并且可以在将来发生类似情况时引起注意。告警可以通过电子邮件、网络频道、记分卡或者仪表盘的形式给出。警报的过程需要确认的是引起注意的触发点，以及一旦报警需要采取什么行动。比如，销售总监在销售情况与销售目标差距大时会收到告警信息。
（5）统计分析：我们可以运行一些更加复杂的分析。例如，方差分析和回归分析等。我们可以基于数据提出一些假设，然后再利用数据构建统计分析模型来“回答”这些假设是否成立。统计分析解决的问题主要是“行为/事件为什么发生”和“我失去了怎样的机会”。例如，银行希望了解什么样的人，更可能对他们的房子进行转按揭操作，那么他们就会用到统计分析的方法。
（6）预报（或者时间序列预测）：它能够帮助建立恰当的库存，防止脱销和积压库存带来的机会流失或额外成本。时间序列预测主要解决的问题是“未来的趋势会怎样”和“如果这样的趋势继续会怎样”。例如，零售商可以根据销售历史，预测未来特定店铺的特定产品的销售量，而这样的预测过程就是时间序列预测。
（7）预测型建模（预测性模型）：如果你有1000 万个客户需要做一次直邮，谁最有可能响应？怎样对现有客户进行有效分群？哪些客户最可能流失？预测性模型可以回答这类问题。预测性模型主要关心的是将来可能发生的情况，以及不同的预测情况对业务的影响。例如，商户可以预测客户可能会对哪种产品更有兴趣，以及哪些客户会对特定产品更有兴趣。
（8）优化：优化往往带来创新，它使企业可以在有限资源下实现利润最大化。优化强调的是更好地利用各种资源的途径。例如，在特定资源条件下，如何安排并使利润最大化，就是优化需要解决的问题。
前4 类分析提供了关于以往和当前情况的描述，让业务人员对历史情况有一个深入的认识。但是这往往是不够的，这就像在驾驶的时候只看两边和后视镜，而挡住前面的玻璃，对前面发生的情况一无所知。第5 类到第7 类分析提供了向前看的途径，可以预测未来发展的情况，及早发现问题，做到提前准备。而最后一类分析是在掌握了未来发展状况之后，对业务进行优化，制订最优的决策方案。
从上面介绍中可以看到，数据分析是和业务紧密联系在一起的，其目的就是满足商业决策的需求。这种决策是以事实和数据分析的结果为基础，结合经验和行业的洞察作出决策。在解读和判断数据模型时，需要融入对业务的理解、融入基于经验的灵感，很多时候是无法用单纯的公式或规则来替代人的智慧和艺术灵感的。因此，数据分析是技术与艺术的结合。如果可以量化分析某些问题，那么就去分析，但别忘记加入你的经验、知识和理性的推断。
评论
还没有评论。