银行大数据应用

本书从大数据兴起的背景和国家大数据战略开始，分析商业银行面临的机遇与挑战。然后讨论大数据技术的支撑体系，包括系统架构、关键技术、平台管理要点。

接着，给出了一些经典的大数据应用，如历史数据查询、客户关系管理、风险管理应用、精准营销、运维分析监测。

*后探讨银行应用大数据的战略意义，如何从人才角度保证大数据建设的可持续发展。

本书适合商业银行等金融机构的大数据建设与管理决策者、系统开发与运维专业人员、大数据系统应用人员阅读。本书也可供大数据公司、高等学校、科研机构的专业人员参考。

随着科技的飞速发展，银行业迫切需要依托大数据计算拓展针对海量数据的加工、存储、计算、分析等能力。本书从宏观国家战略到落地实践路径，全面系统地阐述大数据在银行业的应用点与关键技术，主要内容包括概述、总体技术架构、主要技术能力、主流大数据应用点以及大数据在银行业应用的人才战略。其中主流的应用点有历史数据管理、大数据营销与风险、大数据运维等内容。

银行业信息科技风险管理高层指导委员会（简称”高层指导委员会”）
是由银监会发起，20家主要银行业金融机构自愿参与建立的行业性、专业性高层组织。高层指导委员会的宗旨是：以全面风险管理为导向，提升银行业信息科技核心竞争力和自主创新能力，提升银行业信息化建设和信息科技风险管理整体水平，推动银行业信息科技持续、健康发展，维护金融稳定和国家安全。高层指导委员会的主要任务是对银行业信息化建设与信息科技风险管理工作进行研究、指导，并提供咨询、建议，研究银行业信息化建设重大发展问题，深入传导贯彻信息科技监管政策，开展专业指导和风险分析，开展信息科技课题研究，推动银行业信息科技领域新兴技术研究，促进银行业信息科技领域的交流合作。高层指导委员会自2011年成立以来，相继建立了风险分析、课题研究、专业指导等常态化工作机制，编印内部刊物《金融科技治理与研究》，组建银行业信息科技发展与风险管理专家库，组织编著银行业信息化丛书，开展”银行业信息化高级人才提升计划”，有效提升了银行业信息化工作的整体性、科学性和前瞻性，为银行业信息科技领域的经验交流、知识分享和资源互补提供了有效的平台。

前言
第一篇　基础篇
第1章　绪论 / 3
1.1　时代背景 / 3
1.2　大数据应用的意义 / 7
1.3　挑战和目标 / 10
1.4　本章小结 / 17
第2章　大数据基础 / 18
2.1　大数据的概念与特征 / 18
2.2　技术支撑 / 20
2.3　银行大数据初步实践 / 26
2.4　本章小结 / 32
第二篇　技术篇
第3章　技术架构 / 35
3.1　架构的一般理论 / 35
3.2　典型大数据系统的技术架构 / 36
3.3　开源技术平台架构问题探讨 / 49
3.4　本章小结 / 54
第4章　关键技术 / 55
4.1　数据采集与生成 / 55
4.2　海量数据存储技术 / 65
4.3　大数据分布式计算框架 / 81
4.4　数据挖掘平台与工具 / 103
4.5　本章小结 / 111
第5章　平台管理 / 113
5.1　大数据系统的监控 / 113
5.2　运维 / 132
5.3　元数据管理 / 138
5.4　本章小结 / 147
第三篇　应用篇
第6章　海量数据查询方法论 / 151
6.1　数据查询系统 / 151
6.2　业务交易明细数据管理 / 156
6.3　票据扫描与监控视频信息管理 / 157
6.4　本章小结 / 158
第7章　客户关系管理应用 / 159
7.1　客户分析方法论 / 159
7.2　对私客户画像模型 / 164
7.3　对公客户画像模型 / 167
7.4　银行客户画像实践 / 170
7.5　客户画像应用系统的实现 / 172
7.6　本章小结 / 180
第8章　风险管理应用 / 182
8.1　风险评估与预测方法论 / 182
8.2　对私客户的风险控制 / 186
8.3　对公客户的风险控制 / 191
8.4　本章小结 / 195
第9章　精准营销应用 / 196
9.1　精准营销方法论 / 196
9.2　对私客户的精准营销 / 205
9.3　对公客户的精准营销 / 214
9.4　本章小结 / 220
第10章　故障分析监测与应用 / 221
10.1　日志分析方法 / 221
10.2　系统监控应用的扩展 / 233
10.3　本章小结 / 236
第四篇　战略篇
第11章　战略规划 / 239
11.1　大数据战略的基本目标和关键因素 / 239
11.2　银行大数据建设目标 / 241
11.3　银行大数据实施过程中应遵循的原则 / 242
11.4　建设规划 / 244
11.5　本章小结 / 247
第12章　银行大数据人才培养 / 248
12.1　企业应用大数据的核心能力 / 248
12.2　银行大数据核心人才及其能力要求 / 249
12.3　银行大数据人才培养战略 / 252
12.4　本章小结 / 253
参考文献 / 255

信息技术对金融行业的促进作用随着大数据、互联网的应用普及而凸显，特别是海量数据在电商、保险等行业的应用发掘出巨大的数据变现价值。鉴于银行业每天产生的巨量业务数据需要更高效的手段来处理，为了让银行客户在第三方数据与业务数据的交叉应用中获得更有力的资信证明效果，本书从宏观战略出发，阐述了大数据的各种关键技术，对大数据技术与具体的银行业务应用结合及落地实践进行了详细介绍。全书共分12章。
第1章绪论，探讨大数据兴起的背景和国家大数据战略，分析商业银行面临的机遇和挑战。
第2章大数据基础，研究大数据的基本概念和内涵，探讨大数据的基本特征，阐述大数据的技术支撑体系，并通过深入分析当前主要商业银行大数据的应用状况，讨论应用的现实问题。
第3章技术架构，阐述系统架构的一般概念和设计目标，观察并分析当前主要金融机构和互联网金融平台的技术架构实践，探讨银行大数据架构设计的共性问题。
第4章关键技术，全面系统地介绍大数据系统涉及的各种关键技术，涵盖当前主流的数据采集与生成、分布式存储、分布式计算框架、数据分析与挖掘等技术和工具。
第5章平台管理，介绍大数据系统的监控、运维和元数据管理技术与方法。通过分析若干实际系统监控、运维的管理经验，帮助读者理解和掌握大数据系统管理的基本途径。
第6章海量数据查询方法论，主要介绍大数据技术在银行海量历史数据查询、业务交易明细数据管理、票据扫描与监控视频信息管理等方面的
应用。
第7章客户关系管理应用，介绍大数据技术在商业银行客户关系管理方面的应用，包括客户分析方法、银行客户画像的基本步骤、对私客户画像和对公客户画像应用等。
第8章风险管理应用，主要讨论大数据技术在银行的风险评估与预测、对私客户的风险控制、对公客户的风险控制方面的应用。
第9章精准营销应用，研究了大数据技术在银行精准营销方面的应用，包括精准营销方法、解决方案、精准营销中的数据挖掘技术、对私客户精准营销方式、对私客户价值数据挖掘模型实例、对公客户精准营销框架要点、对公客户精准营销方案及实例分析等。
第10章故障分析监测与应用，介绍大数据平台系统故障分析和检测方法与技术，主要包括基于日志内容分析的故障检测，这是系统运维的重要手段。本章还进一步探讨了如何有效运用监控工具，如何提高系统设计质量，以及改善系统易用性的技术途径。
第11章战略规划，探讨银行大数据建设的战略规划意义，分析大数据策略的基本因素，阐述银行大数据系统的建设目标，提出银行大数据实施过程中应遵循的原则、大数据项目实施的阶段性规划方法。
第12章银行大数据人才培养，分析银行应用大数据的核心能力，以及银行大数据核心人才特征、能力要求，阐述银行大数据人才培养途径。
本书由余宣杰、姜欣荣编著，写作过程中参阅了大量的文献资料，在此向文献资料的作者以及写作过程中提供过帮助的叶照、徐小锋、朱旻昊等专家和学者表示衷心的感谢。
由于水平有限，再加上时间仓促，书中难免存在不足之处，恳请广大读者批评指正！