数据质量测量的持续改进

   

本书分为六部分，共16章。第一部分（第1～4章）讨论对数据质量和数据管理意义重大的一组术语，涉及数据的扩展定义、符号性功能、与数据和数据管理相关的角色、与数据管理相关的概念以及数据质量维度的概念。第二部分（第5章和第6章）描述创建DQAF的原因，概括框架的假设、定义和管理思路，并给出48种测量类型的简短描述。第三部分（第7～9章）阐释数据评估方案，涉及数据评估的目标与输入、如何剖析数据、测量与数据质量改进项目的关系以及将持续测量用于维持数据质量的一般原则。第四部分（第10章和第11章）展示DQAF类别如何用于编制数据质量的需求，以便指定数据质量的联机测量、控制和定期测量。第五部分（第12章和第13章）讨论定义数据质量战略的环境和方法，涉及数据质量战略的概念与总体策略，还讨论建立组织的数据质量战略的12个指令。第六部分（第14～16章）详细讨论DQAF的框架，涉及联机测量中如何收集与计算原始测量数据，如何产生测量结果，以及DQAF测量逻辑数据模型的测量类型共有的功能。

作 者 简 介劳拉·塞巴斯蒂安-科尔曼（Laura Sebastian-Coleman），Optum Insight公司数据质量架构师，自2003年以来，一直在大型医疗保健数据仓库从事数据质量方面的工作。Optum Insight专门通过提供分析、技术和咨询服务来改善医疗保健系统的绩效。劳拉已实现数据质量指标和报表，发起并推动Optum Insight的数据质量社区，促进数据消费者的培训项目，并领导建立数据标准和管理元数据的工作。2009年，她带领一队来自Optum和UnitedHealth集团的分析师，研发了最初的数据质量评估框架（DQAF），这是本书的基础。 作为一名活跃的专业人士，劳拉曾在麻省理工学院的信息质量会议、信息和数据质量国际协会（IAIDQ）以及数据治理组织（DGO）主办的会议上发表论文。在2009年与2010年，她曾担任IAIDQ会员服务总监。 加入Optum Insight公司之前，劳拉在商业保险行业从事了八年的内部通信和信息技术工作。她拥有IAIDQ颁发的IQCP（信息质量认证专家）证书，这是麻省理工学院的信息质量领域的一种证书，她在富兰克林和马歇尔学院取得了英语和历史学士学位，并在罗切斯特大学（纽约州）取得了英国文学博士学位。

目　　录序言致谢作者简介概述1第一部分　概念和定义第1章　数据131.1　目的131.2　数据131.3　数据表示141.4　数据事实201.5　数据作为产品201.6　数据作为分析的输入211.7　数据和期望211.8　信息221.9　总结思考23第2章　数据、人员和系统252.1　目的252.2　企业或组织252.3　IT与业务262.4　数据生产者272.5　数据消费者272.6　数据代理272.7　数据管家和数据管家工作282.8　数据所有者282.9　数据所有权和数据治理 292.10　IT，业务和数据所有者，终极版292.11　数据质量项目组302.12　利益相关者312.13　系统和系统设计312.14　总结思考32第3章　数据管理、模型和元数据333.1　目的333.2　数据管理333.3　数据库、数据仓库、数据资产和数据集343.4　源系统、目标系统和记录系统353.5　数据模型353.6　数据模型的类型363.7　数据的物理特征373.8　元数据383.9　元数据是显性知识403.10　数据链和信息生命周期413.11　数据谱系和数据出处413.12　总结思考42第4章　数据质量和测量434.1　目的434.2　数据质量434.3　数据质量维度444.4　测量454.5　测量数据464.6　数据质量测量和业务/IT鸿沟474.7　有效测量的特点 484.8　数据质量评估494.9　数据质量维度，DQAF测量类型，特定的数据质量指标504.10　数据剖析514.11　数据质量问题和数据管理问题524.12　合理性检查524.13　数据质量阈值524.14　过程控制544.15　联机数据质量的测量和监控544.16　总结思考55第二部分　DQAF的概念和测量类型第5章　数据质量评估框架概念585.1　目的585.2　DQAF解决的问题585.3　数据质量期望和数据管理595.4　DQAF的范围605.5　DQAF质量维度625.6　定义DQAF测量类型645.7　元数据的要求645.8　测量和评估分类的对象655.9　测量的功能：收集、计算、比较675.10　总结思考68第6章　DQAF测量类型696.1　目的696.2　数据模型的一致性696.3　保证正确接收用于处理的数据696.4　检查接收到的数据的状况706.5　评估数据处理的结果716.6　评估数据内容的有效性726.7　评估数据内容的一致性 736.8　对放置联机测量的注释756.9　跨表内容完整性定期测量766.10　评估整体数据库内容776.11　评估控制和测量786.12　测量类型：综合清单786.13　总结思考82第三部分　数据评估方案第7章　初步数据评估867.1　目的867.2　初步评估877.3　初步评估的输入877.4　数据预期877.5　数据剖析877.6　列属性剖析 897.7　结构剖析927.8　剖析现有数据资产967.9　从剖析到评估967.10　初步评估的可交付成果967.11　总结思考97第8章　数据质量改进项目评估988.1　目的988.2　数据质量改进工作988.3　改进项目中的测量98第9章　持续测量1019.1　目的1019.2　适于持续测量的情况1019.3　示例：医疗保健数据1039.4　持续测量的输入1049.5　重要性和风险1069.6　自动化1069.7　控制1069.8　定期测量 1079.9　持续测量的交付成果1089.10　联机与定期测量的对比1089.11　总结思考110第四部分　将DQAF运用到数据需求中第10章　需求、风险和重要性11410.1　目的11410.2　业务需求11410.3　数据质量需求和期望的数据特征11610.4　数据质量需求和数据风险11810.5　影响数据重要性的因素11910.6　指定数据质量指标12010.7　总结思考127第11章　提问12811.1　目的12811.2　提问12811.3　了解项目12911.4　了解源系统13011.5　数据消费者的需求13211.6　数据的状况13311.7　数据模型、转换规则和系统设计13411.8　测量规范过程13411.9　总结思考137第五部分　数据质量战略第12章　数据质量战略14012.1　目的14012.2　战略的概念14012.3　系统战略、数据战略和数据质量战略14112.4　数据质量战略和数据治理14212.5　信息生命周期中的决策点14312.6　数据质量战略一般注意事项14412.7　总结思考145第13章　数据质量战略的指令14613.1　目的14613.2　指令1：获得管理层对数据质量的承诺14813.3　指令2：把数据作为资产14913.4　指令3：应用资源来注重质量15013.5　指令4：建立数据的显性知识15113.6　指令5：把数据作为可测量和改进的流程的一个产品15213.7　指令6：认识到质量是由数据使用者定义的15313.8　指令7：解决造成数据问题的根本原因15413.9　指令8：测量数据质量，监控关键数据15613.10　指令9：保持数据生产者对自己的数据质量（和有关该数据的知识）负责15813.11　指令10：为数据使用者提供所需的数据使用知识15813.12　指令11：数据需要和用途将演进—为演进作规划15913.13　指令12：数据质量超越了数据本身—构建注重质量的文化16013.14　总结思考：使用现状评估161第六部分　DQAF详解第14章　测量功能：收集、计算、比较16514.1　目的16514.2　测量功能：收集、计算、比较16514.3　收集原始测量数据16614.4　计算测量数据16714.5　将测量结果与过去的历史结果比较16814.6　统计16814.7　控制图：统计过程控制的主要手段17214.8　DQAF和统计过程控制17214.9　总结思考173第15章　DQAF测量逻辑模型的功能17415.1　目的17415.2　指标定义表和测量结果表17415.3　可选字段17615.4　分母字段17715.5　自动阈值 17915.6　手动阈值18015.7　紧急阈值18015.8　手动或紧急阈值和结果表18115.9　其他系统需求18115.10　支持需求18115.11　总结思考181第16章　DQAF测量类型的各方面18216.1　目的18216.2　DQAF的各方面18316.3　本章的组织结构18316.4　测量类型#1：数据集的完备性—元数据和参照数据的充分性18516.5　测量类型#2：一个字段内的格式一致性18716.6　测量类型#3：跨表的格式一致性18816.7　测量类型#4：一个字段内默认值使用的一致性18916.8　测量类型#5：跨表的默认值使用的一致性18916.9　测量类型#6：用于处理的数据的交付及时性19016.10　测量类型#7：数据集的完备性—对于处理的可用性19216.11　测量类型#8：数据集的完备性—记录数与控制记录相比19316.12　测量类型#9：数据集的完整性—汇总数额字段数据19416.13　测量类型#10：数据集的完备性—将大小与过去的大小作比较19516.14　测量类型#11：记录的完备性—长度19616.15　测量类型#12：字段的完备性—不可为空的字段19716.16　测量类型#13：数据集的完整性—重复数据删除19816.17　测量类型#14：数据集的完整性—重复记录的合理性检查19916.18　测量类型#15：字段内容的完备性—来自数据源的默认值20016.19　测量类型#16：基于日期标准的数据集的完备性20216.20　测量类型#17：基于日期标准的数据集的合理性20316.21　测量类型#18：字段内容的完备性—接收到的数据丢失要处理的关键字段20416.22　测量类型#19：数据集的完备性—经过一个流程的记录数的平衡20516.23　测量类型#20：数据集的完备性—拒绝记录的理由20616.24　测量类型#21：经过一个流程的数据集的完备性—输入与输出的比率20716.25　测量类型#22：经过一个流程的数据集的完备性—数额字段的平衡20816.26　测量类型#23：字段内容的完备性—汇总的数额字段的比率20916.27　测量类型#24：字段内容的完备性—推导的默认值21116.28　测量类型#25：数据处理用时21216.29　测量类型#26：供访问的数据的及时可用性21416.30　测量类型#27：有效性检查，单字段，详细结果21516.31　测量类型#28：有效性检查，卷积汇总21816.32　测量类型#29：有效性检查，表内多列，详细结果21916.33　测量类型#30：一致性列剖析22116.34　测量类型#31：数据集内容的一致性，所表示的实体的不重复计数和记录数比率22316.35　测量类型#32：数据集内容的一致性，两个所表示的实体的不重复计数的比率22516.36　测量类型#33：一致性多列剖析22616.37　测量类型#34：表内时序与业务规则的一致性22916.38　测量类型#35：用时（小时、天、月等）一致性22916.39　测量类型#36：数额字段跨二级字段计算结果的一致性23116.40　测量类型#37：按聚合日期汇总的记录数的一致性23316.41　测量类型#38：按聚合日期汇总的数额字段数据的一致性23516.42　测量类型#39：父/子参照完整性23616.43　测量类型#40：子/父参照完整性23716.44　测量类型#41：有效性检查，跨表，详细结果23816.45　测量类型#42：跨表多列剖析一致性23916.46　测量类型#43：跨表的时序与业务规则的一致性24016.47　测量类型#44：跨表数额列计算结果的一致性24116.48　测量类型#45：按聚合日期汇总的跨表数额列的一致性24116.49　测量类型#46：与外部基准比较的一致性24216.50　测量类型#47：数据集的完备性—针对特定目的的总体充分性24316.51　测量类型#48：数据集的完备性—测量和控制的总体充分性24416.52　总结思考：了解你的数据245术语表246参考文献255