大数据治理与服务

    大数据治理是一个崭新的研究和应用领域，目前研究成果很少
    立足于大数据环境下的数据治理，既有治理视角的战略价值、风险合规，也有管理视角的数据资产、数据服务，模型与案例结合

 

    《大数据治理与服务》一书从大数据治理的基本概念和现状出发，提出了大数据治理的框架及治理的关键要素，分析了大数据环境下企业面临的挑战、战略转型、组织职能分配，创新性地提出大数据架构，介绍了大数据环境下的数据质量、数据安全特点和应对方案，以及基于数据生命周期的风险、特点和管理方案，后给出了大数据治理实施的方法论和基于服务的大数据治理价值展现。
    《大数据治理与服务》一书立足于大数据环境下的数据治理，既有治理视角的战略价值、风险合规，也有管理视角的数据资产、数据服务，模型与案例结合，条理清晰，易于使用。

    张绍华，博士，上海计算机软件技术开发中心常务副主任，ITSS（国家信息技术服务标准工作组）IT治理标准负责人。发表高水平相关学术论文30余篇，作为主编组织编写了《中国IT服务创新蓝皮书》、《信息技术支撑现代服务模式研究》等出版物。作为项目负责人或骨干参与了10多项国家863、国家自然基金、工信部、欧盟国际合作以及上海市重大科技项目。主持研发的“面向企业创新发展的软件共性技术服务系统”获得了上海市科技进步三等奖奖；主持研发的“Service Ace 平台运营服务管理系统”获中国软博会优秀软件产品；获2014年上海青年科技英才。

基础篇 1
章 大数据治理概述 1
1.1 大数据治理的基本概念 1
1.1.1 背景知识 1
1.1.1.1 数据、信息与知识 1
1.1.1.2 大数据 3
1.1.1.3 治理与管理 9
1.1.1.4 数据管理与信息管理 10
1.1.2 数据治理 12
1.1.2.1 数据治理的基本概念 12
1.1.2.2 数据治理与数据管理 14
1.1.2.3 数据治理与IT治理 16
1.1.3 大数据治理 17
1.1.3.1 大数据治理的基本概念 17
1.1.3.2 大数据治理与数据治理 19
1.2 从数据治理到大数据治理 22
1.2.1 国际数据治理进展 22
1.2.1.1 数据治理理论 22
1.2.1.2 数据治理实施方法 28
1.2.1.3 数据治理应用 32
1.2.2 中国数据治理进展 33
1.2.2.1 数据治理实践 33
1.2.2.2 数据治理理论 35
1.2.3 大数据治理——数据治理的新趋势 36
1.3 大数据治理的重要作用 37
参考文献 39
第二章 大数据治理框架 41
2.1 框架概述 41
2.2 大数据治理的原则 41
2.2.1 战略一致 42
2.2.2 风险可控 42
2.2.3 运营合规 42
2.2.4 绩效提升 43
2.3 大数据治理的范围 43
2.3.1 大数据治理的活动与范围 43
2.3.2 战略 44
2.3.3 组织 45
2.3.4 大数据质量 45
2.3.5 大数据生命周期 46
2.3.6 大数据安全、隐私与合规 47
2.3.7 大数据架构 48
2.3.8 大数据服务创新 49
2.4 大数据治理的实施与评估 50
2.4.1 促成因素 50
2.4.1.1 环境与文化 50
2.4.1.2 技术与工具 51
2.4.1.3 流程与活动 51
2.4.2 实施过程 52
2.4.3 成熟度评估 53
2.4.3.1 评估模型 53
2.4.3.2 评估内容 54
2.4.3.3 评估方法 55
2.4.4 审计 56
参考文献 56
关键域篇 57
第三章 大数据的战略和组织 57
3.1 大数据战略指明企业转型的方向 57
3.2 企业制定大数据战略的要点 59
3.2.1 融合业务需求 59
3.2.2 建立大数据价值实现的蓝图 60
3.2.3 融合企业组织和战略 61
3.3 大数据战略对组织的影响 62
3.3.1 组织架构设计要素 62
3.3.2 大数据战略对组织架构设计的影响 64
3.4 典型大数据组织示例 66
参考文献 70
第四章 大数据架构 71
4.1 大数据架构概述 71
4.1.1 架构与架构设计 71
4.1.2 数据和数据架构 72
4.1.3 从数据架构到大数据架构 72
4.2 大数据架构参考模型 73
4.2.1 总体架构 73
4.2.2 大数据基础资源层 74
4.2.3 大数据管理与分析层 76
4.2.4 大数据应用与服务层 78
4.3 大数据架构的实现 79
4.3.1 不同视角下的架构分析 79
4.3.2 大数据技术架构 80
4.3.3 大数据应用架构 82
参考文献 84
第五章 大数据安全、隐私和合规管理 85
5.1 大数据安全和隐私的问题与挑战 85
5.1.1 大数据带来的安全隐私问题 86
5.1.2 大数据安全和隐私的十大技术挑战 89
5.1.3 十大技术挑战的建模、分析和实施 91
5.2 大数据安全防护 95
5.2.1 大数据安全防护对策 96
5.2.2 大数据安全防护关键技术 97
5.2.3 大数据分析技术带来安全智能 99
5.3 大数据隐私保护 106
5.3.1 大数据隐私特点分析 108
5.3.2 大数据隐私保护对策 110
5.3.3 大数据的隐私保护关键技术 111
5.4 大数据合规管理 114
5.4.1 美国数据合规管理状况 115
5.4.2 欧盟数据合规管理状况 115
5.4.3 我国数据合规管理现状 116
参考文献 117
第六章 大数据质量管理 118
6.1 大数据特性及其质量管理的复杂性 118
6.1.1 大数据的特性分析 118
6.1.2 大数据质量管理的复杂性 119
6.1.3 大数据质量管理复杂性的原因分析 120
6.2 大数据质量的概念和维度 120
6.2.1 大数据质量的基本概念 120
6.2.2 大数据质量的维度 120
6.3 大数据质量管理参考框架 122
6.3.1 参考框架概述 122
6.3.2 大数据质量策略 123
6.3.3 大数据质量控制目标 124
6.3.4 职责角色 125
6.3.5 流程和方法 126
6.3.6 支撑保障 127
6.4 大数据质量项目实施方法 127
6.4.1 定义阶段 128
6.4.2 测量阶段 132
6.4.3 分析阶段 133
6.4.4 改进阶段 135
6.4.5 控制阶段 136
6.5 大数据质量管理常用方法和工具 137
6.5.1 常用质量管理工具 137
6.5.2 数据质量辅助工具 140
第七章 大数据生命周期 143
7.1 概述 143
7.2 大数据范围确定 145
7.3 大数据采集 145
7.3.1 大数据采集的范围 145
7.3.2 大数据采集的策略 146
7.3.3 大数据采集的规范 147
7.3.4 大数据采集的安全与隐私 147
7.3.5 数据采集的时效 148
7.3.6 非结构化数据的采集 149
7.3.7 大数据的清理 149
7.4 大数据存储 150
7.4.1 数据的热度（热数据、温数据与冷数据） 150
7.4.2 不同热度数据的存储与备份要求 150
7.4.3 基于云的大数据存储 151
7.5 大数据整合 152
7.5.1 批量数据的整合 152
7.5.2 实时数据的整合 154
7.5.3 数据整合与主数据管理 155
7.6 大数据呈现与使用 155
7.6.1 数据可视化 155
7.6.2 数据可见性的权限管理 156
7.6.3 数据展示与发布的流程管理 156
7.6.4 数据的展示与发布 157
7.6.5 数据使用管理 157
7.7 大数据分析与应用 159
7.7.1 数据分析与应用的策略 159
7.7.2 数据分析与建模 160
7.7.3 数据应用 162
7.8 大数据归档与销毁 162
7.8.1 数据归档 162
7.8.2 数据销毁 163
实施和监督篇 164
第八章 大数据治理实施 164
8.1 大数据治理实施的目标和动力 164
8.1.1 大数据治理实施的目标 164
8.1.2   大数据治理实施的动力 167
8.2 大数据治理实施过程 168
8.3 大数据治理实施路线图 172
8.4 大数据治理实施的关键要素 174
8.4.1 实施目标 174
8.4.2 企业文化 175
8.4.3 组织架构和岗位职责 176
8.4.4 标准和规范 176
8.4.5   合规管理和控制 177
8.5 大数据治理实施框架 178
参考文献 180
第九章 大数据治理审计 181
9.1 大数据治理审计概述 181
9.1.1 大数据治理审计面临的机遇与挑战 181
9.1.2 大数据治理审计的基本概念 182
9.1.3 大数据治理审计的重要意义 185
9.1.4   大数据治理审计的前提与基础 186
9.2 大数据治理审计内容 186
9.2.1 战略一致审计 187
9.2.2 风险可控审计 187
9.2.3 运营合规审计 187
9.2.4 绩效提升审计 188
9.2.5 大数据组织审计 188
9.2.6 大数据架构审计 188
9.2.7   大数据安全与隐私管理审计 189
9.2.8 大数据质量管理审计 189
9.2.9 大数据生命周期管理审计 189
9.3 大数据治理审计方法和技术 190
9.3.1 大数据治理审计相关标准 190
9.3.1.1 大数据相关标准 190
9.3.1.2 IT审计相关标准 191
9.3.2 大数据治理审计方法 195
9.3.2.1 传统审计方法 195
9.3.2.2 IT审计方法 196
9.3.2.3 大数据审计方法 197
9.3.3 大数据治理审计技术 198
9.3.4 大数据治理审计工作基础 200
9.4 大数据治理审计流程 200
9.4.1 大数据治理审计准备阶段 201
9.4.2   大数据治理审计实施阶段 201
9.4.3 大数据治理审计终结阶段 203
9.4.4 大数据治理审计后续跟踪 204
服务与创新篇 205
第十章 大数据服务 205
10.1 大数据的服务创新 205
10.1.1 大数据的服务创新途径 205
10.1.2 大数据服务的商业价值 207
10.2 大数据的服务内容 209
10.2.1 面向业务的大数据服务 211
10.2.1.1战略决策 211
10.2.1.2精细化管理 213
10.2.1.3精准营销 215
10.2.1.4信息服务 217
10.2.1.5产品创新 219
10.2.2 面向技术的大数据服务 220
10.2.2.1大数据存储服务 221
10.2.2.2大数据计算服务 221
10.2.2.3大数据集成服务 222
10.2.2.4大数据挖掘服务 226
10.2.2.5大数据可视化服务 226

 

      推荐这本书给大家我觉得是自己作为大数据行业一份子的责任。现在很多人都在谈大数据，其中有传统行业，有银行，也有医院。但我注意到大部分企业都在关注如何用数据进行创新，却很少听到大数据作为原材料应该怎么管理。你可能会说，银行业、通讯业等不是早就在做数据管理了吗？的确，数据管理并不新鲜，20年前就有人在做了。但大数据的含义不仅指数据的大小，还包括数据内容的广泛来源、非结构性及实时连接性等等。大数据的定义其实在不断更新中。我们不禁会问，以往的数据管理思路，能适应新形势的需求吗？我敢大胆的说自上而下的管理方法已经过时了。大数据的本质就是来自开放的力量、频繁的数据更新、更丰富的数据种类、更快速的数据流动，但这些都对中央式的管理方式造成了极大的挑战。我们必须意识到，数据治理不等同于数据管理，绝非仅依靠自上而下的贯彻执行便可解决。相反，数据治理需要每个人的参与和协同，要求大家都有意识去治理好数据，做到人人为我，我为人人。今天不把数据管好，日后对数据的依赖愈深，便愈容易出现问题。数据治理的新思路，不仅是指组织结构上要从由上而下变成全体协同，而且要在技术上创新，用数据去助力大数据治理，帮助大家提高数据质量、保护数据安全及有效控制数据成本。后我想说，大数据时代的数据治理，一定是将无线的管理策略化成有形的工作流程，从一纸命令变成根植在每个人心中的信念和下意识的习惯。我们要用大数据的思维方式，用数据治理数据。后感谢作者对数据治理的坚持，这本书得来不易。

　　——*集团副总裁 数据委员会会长 车品觉

　　数据正在成为基础的战略资源和重要资产被世界各国和经济体所重视。对数据的获取、占有、控制、分配和使用能力成为未来一个国家和地区经济发展水平和社会阶段的重要标志。了解大数据、管理大数据、驾驭大数据，从《大数据治理与服务》开始吧。

　　——国务院发展研究中心国际技术经济研究所，副所长，陈宝国博士

　　不管人们承认与否，我们已经步入大数据时代。铺天盖地的数据迎面而来，让我们眼花缭乱、一时手足无措。这是一个“知识超前、智慧滞后”的年代，我们应该正确认识并积极应对，早些补上滞后的智慧。历史的经验告诉我们，面对新时代的到来，约定便于沟通的新语系，形成确保质量的新标准，十分必要。学习了解数据治理的思想方法，能帮助我们在新时代少走曲折路，少花冤枉钱。《大数据治理和服务》一书为我们开启了数据治理的大门，介绍了数据治理的若干话题，是很好的入门读物。

　　——清华大学数据科学研究院执行副院长 韩亦舜

　　大数据应用进入了广泛而快速的发展阶段，对经济运行、社会发展和城市治理产生着深刻的影响。这种基于近乎全样本并实时获取的海量数据，正在不断积累并形成了有着巨大价值的社会资产。如何发挥好这份新兴资产的作用，需要从应用层面加快研究形成大数据治理的标准规范和服务指引，以促进大数据的健康发展。

　　——北京市经济信息中心副主任 林明金

　　大数据是云计算支撑下有价值的资产，从数据资产，数据管理，数据治理的基本概念到做好数据治理的关键要素是什么，这本书也适合大学生学业补充，从基础概念到项目实施，从治理到管理，到大数据的架构，大数据的服务和应用，尤其是数据质量一章，突出了大数据质量的特色，也给出了管理工具，有实践意义。

　　——清华大学计算机系副系主任 冯建华

　　一个创意是否有价值，一个产品功能用户是否喜欢要事实说话。数据就是事实。互联网和计算机技术的发展让快速搜集和处理海量的数据成为现实。大数据让决策科学，有效，和及时。在移动互联网时代，没有大数据，就好像盲人摸象。《大数据治理和服务》对大数据战略，组织管理，技术和规范有很好的介绍。对一个组织如何变身成“数据驱动”很有帮助。

　　——微软（亚洲）互联网工程院副院长 方黎江

　　百年公司治理，互联网时代遭遇新挑战，感谢《大数据治理与服务》新思维新利器

　　——王中杰 连城国际董事长 中国公司治理知名专家，产学研人

　　大数据不仅成为云计算之后的技术和产业热点，而且对人们的工作生活方式、学习思考模式、科学研究范式产生越来越重大的改变和影响；同时伴随而来的数据安全和隐私保护等问题层出不穷，这些问题与其带来的巨大价值同样引人关注。从治理的视角不仅能够更好地发挥大数据的价值，也能够全面构建大数据的安全防护体系。《大数据治理和服务》在这方面做了深入的阐述，从框架、范围、架构、技术、合规、质量、生命周期等多个角度进行了说明分析，能为组织机构的大数据应用和安全防护提供很好的参考和指南。

　　——金波 公安部第三研究所所长助理 首席科学家，信息网络安全公安部重点实验室主任，中国计算机学会大数据专家委员会常务委员

　　大数据时代来临，数据已成为企业重要资产，如何管好、用好大数据，使其发挥zui大价值，《大数据治理与服务》系统地回答了这个问题，无论对理论研究，还是实践操作，此书都值得一读。

　　——国家开发银行信息科技局局长谭波

　　近年来，随着信息化的不断推进以及云计算、数据挖掘技术和物联网的广泛应用，促使互联网 技术兴起，所有这些技术都是以多样化的巨量数据为基础实现的。数据不仅仅在我们的地球海量的汇集，更延伸到太空宇宙，在这样的背景下如何看待大数据和应用大数据是我们面临的重要课题。本书从大家数据的概念到数据的汇集、架构及如何应用，再从数据治理到数据安全，以及数据的生命周期内如何管理和利用等方面进行了较为深入的分析，并提出了自己的观点和见解。本书可读性及实用性强，从中可以看到作者试图利用自己的经验和对大数据探索的思路引导大家共同研究。在此诚心的祝愿本书发行成功。

　　——中国人民银行金融信息中心副总经理康少康

　　大数据蕴含丰富的价值，已经成为社会治理和经济发展的重要战略资源。大数据治理和服务的研究有利于推动大数据在各行各业的发展和应用。加强大数据治理，创新大数据服务将促进大数据更安全更有效地发挥价值。

　　——陈忠德 中国华融资产管理股份有限公司信息科技部总经理

　　不言而喻，我们正生活在信息时代，各种信息充斥在我们的周围，人们已不再缺乏广泛的信息，而越来越需要有价值的信息。大数据技术的应运而生，为我们获取有效的信息开启了新的航帆。该书围绕上述理念，全面阐述了利用大数据技术获取有效信息的理论与实践。完整提出了大数据治理的概念、框架、机制以及大数据服务所涉及的各个环节，既有广度，又有深度。同时，该书的亮点还在于从管理学和数据治理的角度给予大数据技术以完整的论述和诠释，这与市场上单纯描述大数据技术的书有本质上的区别，对于企业和机构，特别是大企业的信息管理和大数据运用有着重要的指导意义。

　　——中国银行首席信息经理刘宁

　　《大数据治理与服务》一书通过梳理大数据应用的相关概念，由浅入深地为读者拉开了大数据治理的神秘面纱，提供了开展大数据应用的方法。该书系统地描述了大数据治理应坚持的原则和框架体系建设等内容，对读者开展大数据应用前期规划与顶层设计，以及规范应用大数据、创造价值具有很好的学习参考作用。

　　——中国电子工程设计院副总工程师 谢卫

　　信息科技从IT向DT发展过程中，数据已经成为基础性战略性资源和新一轮科技产业革命的重要生产力，而如何对数据进行有效的管理和应用将从《大数据治理和服务》中获得启发、形成思路、得到答案，本书由浅入深的从数据实际应用出发，围绕数据的组织、管理、安全、质量、审计以及服务等领域进行了系统性阐述，对大数据从业人员具备重要的指导作用！

　　——中国电信上海理想信息集团总经理 陆晋军

　　本书是一套集Zui佳实践的系统化大数据治理工具，不但从治理层，也从管理层，技术层面给予了相应指导，提供了全面数据治理和项目型单一目标数据治理的方法论。要成为大数据的优质保管仓库和处理中心，数据中心面临诸多挑战，比如根据数据的不同热度采取不同的存储技术，提高业务访问处理效率；比如如何在大数据环境下保护客户的个人隐私等等；同时，将大数据运用于数据中心管理，也为管好数据中心，提供了前所未有的机遇。

　　——招商银行股份有限公司数据中心总经理 高旭磊

　　P2P 依靠传统线下信贷方式经营成本高，难以规模化，依靠线上行为痕迹，征信大数据可以大大提高风险管理的有效性，而如何建立一套反欺诈体系，风控指标，这些风险数据的采集、监控标准化都离不开风险导向的数据治理体系的建设。

　　——东方邦信金融科技有限公司董事长孙洋