数据质量测量的持续改进

作者: [美] 劳拉·塞巴斯蒂安-科尔曼著 , 卢涛译

出版社: 机械工业出版社

出版时间: 2016-05

版次: 1

ISBN: 9787111532392

定价: 79.00

装帧: 平装

开本: 16开

纸张: 胶版纸

页数: 260页

字数: 300千字

丛书: 数据科学与工程技术丛书

分类: 计算机与互联网

55人买过

　　本书分为六部分，共16章。部分（第1～4章）讨论对数据质量和数据管理意义重大的一组术语，涉及数据的扩展定义、符号性功能、与数据和数据管理相关的角色、与数据管理相关的概念以及数据质量维度的概念。第二部分（第5章和第6章）描述创建DQAF的原因，概括框架的假设、定义和管理思路，并给出48种测量类型的简短描述。第三部分（第7～9章）阐释数据评估方案，涉及数据评估的目标与输入、如何剖析数据、测量与数据质量改进项目的关系以及将持续测量用于维持数据质量的一般原则。第四部分（第10章和第11章）展示DQAF类别如何用于编制数据质量的需求，以便指定数据质量的联机测量、控制和定期测量。第五部分（第12章和第13章）讨论定义数据质量战略的环境和方法，涉及数据质量战略的概念与总体策略，还讨论建立组织的数据质量战略的12个指令。第六部分（第14～16章）详细讨论DQAF的框架，涉及联机测量中如何收集与计算原始测量数据，如何产生测量结果，以及DQAF测量逻辑数据模型的测量类型共有的功能。　　劳拉·塞巴斯蒂安-科尔曼（Laura Sebastian-Coleman），Optum Insight公司数据质量架构师，自2003年以来，一直在大型医疗保健数据仓库从事数据质量方面的工作。Optum Insight专门通过提供分析、技术和咨询服务来改善医疗保健系统的绩效。劳拉已实现数据质量指标和报表，发起并推动Optum Insight的数据质量社区，促进数据消费者的培训项目，并领导建立数据标准和管理元数据的工作。2009年，她带领一队来自Optum和UnitedHealth集团的分析师，研发了初的数据质量评估框架（DQAF），这是本书的基础。
　　作为一名活跃的专业人士，劳拉曾在麻省理工学院的信息质量会议、信息和数据质量国际协会（IAIDQ）以及数据治理组织（DGO）主办的会议上发表论文。在2009年与2010年，她曾担任IAIDQ会员服务总监。
　　加入Optum Insight公司之前，劳拉在商业保险行业从事了八年的内部通信和信息技术工作。她拥有IAIDQ颁发的IQCP（信息质量认证专家）证书，这是麻省理工学院的信息质量领域的一种证书，她在富兰克林和马歇尔学院取得了英语和历史学士学位，并在罗切斯特大学（纽约州）取得了英国文学博士学位。
序言
致谢
作者简介
概述1
第一部分　概念和定义
第1章　数据13
1.1　目的13
1.2　数据13
1.3　数据表示14
1.4　数据事实20
1.5　数据作为产品20
1.6　数据作为分析的输入21
1.7　数据和期望21
1.8　信息22
1.9　总结思考23
第2章　数据、人员和系统25
2.1　目的25
2.2　企业或组织25
2.3　IT与业务26
2.4　数据生产者27
2.5　数据消费者27
2.6　数据代理27
2.7　数据管家和数据管家工作28
2.8　数据所有者28
2.9　数据所有权和数据治理 29
2.10　IT，业务和数据所有者，终极版29
2.11　数据质量项目组30
2.12　利益相关者31
2.13　系统和系统设计31
2.14　总结思考32
第3章　数据管理、模型和元数据33
3.1　目的33
3.2　数据管理33
3.3　数据库、数据仓库、数据资产和数据集34
3.4　源系统、目标系统和记录系统35
3.5　数据模型35
3.6　数据模型的类型36
3.7　数据的物理特征37
3.8　元数据38
3.9　元数据是显性知识40
3.10　数据链和信息生命周期41
3.11　数据谱系和数据出处41
3.12　总结思考42
第4章　数据质量和测量43
4.1　目的43
4.2　数据质量43
4.3　数据质量维度44
4.4　测量45
4.5　测量数据46
4.6　数据质量测量和业务/IT鸿沟47
4.7　有效测量的特点 48
4.8　数据质量评估49
4.9　数据质量维度，DQAF测量类型，特定的数据质量指标50
4.10　数据剖析51
4.11　数据质量问题和数据管理问题52
4.12　合理性检查52
4.13　数据质量阈值52
4.14　过程控制54
4.15　联机数据质量的测量和监控54
4.16　总结思考55
第二部分　DQAF的概念和测量类型
第5章　数据质量评估框架概念58
5.1　目的58
5.2　DQAF解决的问题58
5.3　数据质量期望和数据管理59
5.4　DQAF的范围60
5.5　DQAF质量维度62
5.6　定义DQAF测量类型64
5.7　元数据的要求64
5.8　测量和评估分类的对象65
5.9　测量的功能：收集、计算、比较67
5.10　总结思考68
第6章　DQAF测量类型69
6.1　目的69
6.2　数据模型的一致性69
6.3　保证正确接收用于处理的数据69
6.4　检查接收到的数据的状况70
6.5　评估数据处理的结果71
6.6　评估数据内容的有效性72
6.7　评估数据内容的一致性 73
6.8　对放置联机测量的注释75
6.9　跨表内容完整性定期测量76
6.10　评估整体数据库内容77
6.11　评估控制和测量78
6.12　测量类型：综合清单78
6.13　总结思考82
第三部分　数据评估方案
第7章　初步数据评估86
7.1　目的86
7.2　初步评估87
7.3　初步评估的输入87
7.4　数据预期87
7.5　数据剖析87
7.6　列属性剖析 89
7.7　结构剖析92
7.8　剖析现有数据资产96
7.9　从剖析到评估96
7.10　初步评估的可交付成果96
7.11　总结思考97
第8章　数据质量改进项目评估98
8.1　目的98
8.2　数据质量改进工作98
8.3　改进项目中的测量98
第9章　持续测量101
9.1　目的101
9.2　适于持续测量的情况101
9.3　示例：医疗保健数据103
9.4　持续测量的输入104
9.5　重要性和风险106
9.6　自动化106
9.7　控制106
9.8　定期测量 107
9.9　持续测量的交付成果108
9.10　联机与定期测量的对比108
9.11　总结思考110
第四部分　将DQAF运用到数据需求中
第10章　需求、风险和重要性114
10.1　目的114
10.2　业务需求114
10.3　数据质量需求和期望的数据特征116
10.4　数据质量需求和数据风险118
10.5　影响数据重要性的因素119
10.6　指定数据质量指标120
10.7　总结思考127
第11章　提问128
11.1　目的128
11.2　提问128
11.3　了解项目129
11.4　了解源系统130
11.5　数据消费者的需求132
11.6　数据的状况133
11.7　数据模型、转换规则和系统设计134
11.8　测量规范过程134
11.9　总结思考137
第五部分　数据质量战略
第12章　数据质量战略140
12.1　目的140
12.2　战略的概念140
12.3　系统战略、数据战略和数据质量战略141
12.4　数据质量战略和数据治理142
12.5　信息生命周期中的决策点143
12.6　数据质量战略一般注意事项144
12.7　总结思考145
第13章　数据质量战略的指令146
13.1　目的146
13.2　指令1：获得管理层对数据质量的承诺148
13.3　指令2：把数据作为资产149
13.4　指令3：应用资源来注重质量150
13.5　指令4：建立数据的显性知识151
13.6　指令5：把数据作为可测量和改进的流程的一个产品152
13.7　指令6：认识到质量是由数据使用者定义的153
13.8　指令7：解决造成数据问题的根本原因154
13.9　指令8：测量数据质量，监控关键数据156
13.10　指令9：保持数据生产者对自己的数据质量（和有关该数据的知识）负责158
13.11　指令10：为数据使用者提供所需的数据使用知识158
13.12　指令11：数据需要和用途将演进—为演进作规划159
13.13　指令12：数据质量超越了数据本身—构建注重质量的文化160
13.14　总结思考：使用现状评估161
第六部分　DQAF详解
第14章　测量功能：收集、计算、比较165
14.1　目的165
14.2　测量功能：收集、计算、比较165
14.3　收集原始测量数据166
14.4　计算测量数据167
14.5　将测量结果与过去的历史结果比较168
14.6　统计168
14.7　控制图：统计过程控制的主要手段172
14.8　DQAF和统计过程控制172
14.9　总结思考173
第15章　DQAF测量逻辑模型的功能174
15.1　目的174
15.2　指标定义表和测量结果表174
15.3　可选字段176
15.4　分母字段177
15.5　自动阈值 179
15.6　手动阈值180
15.7　紧急阈值180
15.8　手动或紧急阈值和结果表181
15.9　其他系统需求181
15.10　支持需求181
15.11　总结思考181
第16章　DQAF测量类型的各方面182
16.1　目的182
16.2　DQAF的各方面183
16.3　本章的组织结构183
16.4　测量类型#1：数据集的完备性—元数据和参照数据的充分性185
16.5　测量类型#2：一个字段内的格式一致性187
16.6　测量类型#3：跨表的格式一致性188
16.7　测量类型#4：一个字段内默认值使用的一致性189
16.8　测量类型#5：跨表的默认值使用的一致性189
16.9　测量类型#6：用于处理的数据的交付及时性190
16.10　测量类型#7：数据集的完备性—对于处理的可用性192
16.11　测量类型#8：数据集的完备性—记录数与控制记录相比193
16.12　测量类型#9：数据集的完整性—汇总数额字段数据194
16.13　测量类型#10：数据集的完备性—将大小与过去的大小作比较195
16.14　测量类型#11：记录的完备性—长度196
16.15　测量类型#12：字段的完备性—不可为空的字段197
16.16　测量类型#13：数据集的完整性—重复数据删除198
16.17　测量类型#14：数据集的完整性—重复记录的合理性检查199
16.18　测量类型#15：字段内容的完备性—来自数据源的默认值200
16.19　测量类型#16：基于日期标准的数据集的完备性202
16.20　测量类型#17：基于日期标准的数据集的合理性203
16.21　测量类型#18：字段内容的完备性—接收到的数据丢失要处理的关键字段204
16.22　测量类型#19：数据集的完备性—经过一个流程的记录数的平衡205
16.23　测量类型#20：数据集的完备性—拒绝记录的理由206
16.24　测量类型#21：经过一个流程的数据集的完备性—输入与输出的比率207
16.25　测量类型#22：经过一个流程的数据集的完备性—数额字段的平衡208
16.26　测量类型#23：字段内容的完备性—汇总的数额字段的比率209
16.27　测量类型#24：字段内容的完备性—推导的默认值211
16.28　测量类型#25：数据处理用时212
16.29　测量类型#26：供访问的数据的及时可用性214
16.30　测量类型#27：有效性检查，单字段，详细结果215
16.31　测量类型#28：有效性检查，卷积汇总218
16.32　测量类型#29：有效性检查，表内多列，详细结果219
16.33　测量类型#30：一致性列剖析221
16.34　测量类型#31：数据集内容的一致性，所表示的实体的不重复计数和记录数比率223
16.35　测量类型#32：数据集内容的一致性，两个所表示的实体的不重复计数的比率225
16.36　测量类型#33：一致性多列剖析226
16.37　测量类型#34：表内时序与业务规则的一致性229
16.38　测量类型#35：用时（小时、天、月等）一致性229
16.39　测量类型#36：数额字段跨二级字段计算结果的一致性231
16.40　测量类型#37：按聚合日期汇总的记录数的一致性233
16.41　测量类型#38：按聚合日期汇总的数额字段数据的一致性235
16.42　测量类型#39：父/子参照完整性236
16.43　测量类型#40：子/父参照完整性237
16.44　测量类型#41：有效性检查，跨表，详细结果238
16.45　测量类型#42：跨表多列剖析一致性239
16.46　测量类型#43：跨表的时序与业务规则的一致性240
16.47　测量类型#44：跨表数额列计算结果的一致性241
16.48　测量类型#45：按聚合日期汇总的跨表数额列的一致性241
16.49　测量类型#46：与外部基准比较的一致性242
16.50　测量类型#47：数据集的完备性—针对特定目的的总体充分性243
16.51　测量类型#48：数据集的完备性—测量和控制的总体充分性244
16.52　总结思考：了解你的数据245
术语表246
参考文献255
内容简介:
　　本书分为六部分，共16章。部分（第1～4章）讨论对数据质量和数据管理意义重大的一组术语，涉及数据的扩展定义、符号性功能、与数据和数据管理相关的角色、与数据管理相关的概念以及数据质量维度的概念。第二部分（第5章和第6章）描述创建DQAF的原因，概括框架的假设、定义和管理思路，并给出48种测量类型的简短描述。第三部分（第7～9章）阐释数据评估方案，涉及数据评估的目标与输入、如何剖析数据、测量与数据质量改进项目的关系以及将持续测量用于维持数据质量的一般原则。第四部分（第10章和第11章）展示DQAF类别如何用于编制数据质量的需求，以便指定数据质量的联机测量、控制和定期测量。第五部分（第12章和第13章）讨论定义数据质量战略的环境和方法，涉及数据质量战略的概念与总体策略，还讨论建立组织的数据质量战略的12个指令。第六部分（第14～16章）详细讨论DQAF的框架，涉及联机测量中如何收集与计算原始测量数据，如何产生测量结果，以及DQAF测量逻辑数据模型的测量类型共有的功能。
作者简介:
　　劳拉·塞巴斯蒂安-科尔曼（Laura Sebastian-Coleman），Optum Insight公司数据质量架构师，自2003年以来，一直在大型医疗保健数据仓库从事数据质量方面的工作。Optum Insight专门通过提供分析、技术和咨询服务来改善医疗保健系统的绩效。劳拉已实现数据质量指标和报表，发起并推动Optum Insight的数据质量社区，促进数据消费者的培训项目，并领导建立数据标准和管理元数据的工作。2009年，她带领一队来自Optum和UnitedHealth集团的分析师，研发了初的数据质量评估框架（DQAF），这是本书的基础。
　　作为一名活跃的专业人士，劳拉曾在麻省理工学院的信息质量会议、信息和数据质量国际协会（IAIDQ）以及数据治理组织（DGO）主办的会议上发表论文。在2009年与2010年，她曾担任IAIDQ会员服务总监。
　　加入Optum Insight公司之前，劳拉在商业保险行业从事了八年的内部通信和信息技术工作。她拥有IAIDQ颁发的IQCP（信息质量认证专家）证书，这是麻省理工学院的信息质量领域的一种证书，她在富兰克林和马歇尔学院取得了英语和历史学士学位，并在罗切斯特大学（纽约州）取得了英国文学博士学位。
目录:
序言
致谢
作者简介
概述1
第一部分　概念和定义
第1章　数据13
1.1　目的13
1.2　数据13
1.3　数据表示14
1.4　数据事实20
1.5　数据作为产品20
1.6　数据作为分析的输入21
1.7　数据和期望21
1.8　信息22
1.9　总结思考23
第2章　数据、人员和系统25
2.1　目的25
2.2　企业或组织25
2.3　IT与业务26
2.4　数据生产者27
2.5　数据消费者27
2.6　数据代理27
2.7　数据管家和数据管家工作28
2.8　数据所有者28
2.9　数据所有权和数据治理 29
2.10　IT，业务和数据所有者，终极版29
2.11　数据质量项目组30
2.12　利益相关者31
2.13　系统和系统设计31
2.14　总结思考32
第3章　数据管理、模型和元数据33
3.1　目的33
3.2　数据管理33
3.3　数据库、数据仓库、数据资产和数据集34
3.4　源系统、目标系统和记录系统35
3.5　数据模型35
3.6　数据模型的类型36
3.7　数据的物理特征37
3.8　元数据38
3.9　元数据是显性知识40
3.10　数据链和信息生命周期41
3.11　数据谱系和数据出处41
3.12　总结思考42
第4章　数据质量和测量43
4.1　目的43
4.2　数据质量43
4.3　数据质量维度44
4.4　测量45
4.5　测量数据46
4.6　数据质量测量和业务/IT鸿沟47
4.7　有效测量的特点 48
4.8　数据质量评估49
4.9　数据质量维度，DQAF测量类型，特定的数据质量指标50
4.10　数据剖析51
4.11　数据质量问题和数据管理问题52
4.12　合理性检查52
4.13　数据质量阈值52
4.14　过程控制54
4.15　联机数据质量的测量和监控54
4.16　总结思考55
第二部分　DQAF的概念和测量类型
第5章　数据质量评估框架概念58
5.1　目的58
5.2　DQAF解决的问题58
5.3　数据质量期望和数据管理59
5.4　DQAF的范围60
5.5　DQAF质量维度62
5.6　定义DQAF测量类型64
5.7　元数据的要求64
5.8　测量和评估分类的对象65
5.9　测量的功能：收集、计算、比较67
5.10　总结思考68
第6章　DQAF测量类型69
6.1　目的69
6.2　数据模型的一致性69
6.3　保证正确接收用于处理的数据69
6.4　检查接收到的数据的状况70
6.5　评估数据处理的结果71
6.6　评估数据内容的有效性72
6.7　评估数据内容的一致性 73
6.8　对放置联机测量的注释75
6.9　跨表内容完整性定期测量76
6.10　评估整体数据库内容77
6.11　评估控制和测量78
6.12　测量类型：综合清单78
6.13　总结思考82
第三部分　数据评估方案
第7章　初步数据评估86
7.1　目的86
7.2　初步评估87
7.3　初步评估的输入87
7.4　数据预期87
7.5　数据剖析87
7.6　列属性剖析 89
7.7　结构剖析92
7.8　剖析现有数据资产96
7.9　从剖析到评估96
7.10　初步评估的可交付成果96
7.11　总结思考97
第8章　数据质量改进项目评估98
8.1　目的98
8.2　数据质量改进工作98
8.3　改进项目中的测量98
第9章　持续测量101
9.1　目的101
9.2　适于持续测量的情况101
9.3　示例：医疗保健数据103
9.4　持续测量的输入104
9.5　重要性和风险106
9.6　自动化106
9.7　控制106
9.8　定期测量 107
9.9　持续测量的交付成果108
9.10　联机与定期测量的对比108
9.11　总结思考110
第四部分　将DQAF运用到数据需求中
第10章　需求、风险和重要性114
10.1　目的114
10.2　业务需求114
10.3　数据质量需求和期望的数据特征116
10.4　数据质量需求和数据风险118
10.5　影响数据重要性的因素119
10.6　指定数据质量指标120
10.7　总结思考127
第11章　提问128
11.1　目的128
11.2　提问128
11.3　了解项目129
11.4　了解源系统130
11.5　数据消费者的需求132
11.6　数据的状况133
11.7　数据模型、转换规则和系统设计134
11.8　测量规范过程134
11.9　总结思考137
第五部分　数据质量战略
第12章　数据质量战略140
12.1　目的140
12.2　战略的概念140
12.3　系统战略、数据战略和数据质量战略141
12.4　数据质量战略和数据治理142
12.5　信息生命周期中的决策点143
12.6　数据质量战略一般注意事项144
12.7　总结思考145
第13章　数据质量战略的指令146
13.1　目的146
13.2　指令1：获得管理层对数据质量的承诺148
13.3　指令2：把数据作为资产149
13.4　指令3：应用资源来注重质量150
13.5　指令4：建立数据的显性知识151
13.6　指令5：把数据作为可测量和改进的流程的一个产品152
13.7　指令6：认识到质量是由数据使用者定义的153
13.8　指令7：解决造成数据问题的根本原因154
13.9　指令8：测量数据质量，监控关键数据156
13.10　指令9：保持数据生产者对自己的数据质量（和有关该数据的知识）负责158
13.11　指令10：为数据使用者提供所需的数据使用知识158
13.12　指令11：数据需要和用途将演进—为演进作规划159
13.13　指令12：数据质量超越了数据本身—构建注重质量的文化160
13.14　总结思考：使用现状评估161
第六部分　DQAF详解
第14章　测量功能：收集、计算、比较165
14.1　目的165
14.2　测量功能：收集、计算、比较165
14.3　收集原始测量数据166
14.4　计算测量数据167
14.5　将测量结果与过去的历史结果比较168
14.6　统计168
14.7　控制图：统计过程控制的主要手段172
14.8　DQAF和统计过程控制172
14.9　总结思考173
第15章　DQAF测量逻辑模型的功能174
15.1　目的174
15.2　指标定义表和测量结果表174
15.3　可选字段176
15.4　分母字段177
15.5　自动阈值 179
15.6　手动阈值180
15.7　紧急阈值180
15.8　手动或紧急阈值和结果表181
15.9　其他系统需求181
15.10　支持需求181
15.11　总结思考181
第16章　DQAF测量类型的各方面182
16.1　目的182
16.2　DQAF的各方面183
16.3　本章的组织结构183
16.4　测量类型#1：数据集的完备性—元数据和参照数据的充分性185
16.5　测量类型#2：一个字段内的格式一致性187
16.6　测量类型#3：跨表的格式一致性188
16.7　测量类型#4：一个字段内默认值使用的一致性189
16.8　测量类型#5：跨表的默认值使用的一致性189
16.9　测量类型#6：用于处理的数据的交付及时性190
16.10　测量类型#7：数据集的完备性—对于处理的可用性192
16.11　测量类型#8：数据集的完备性—记录数与控制记录相比193
16.12　测量类型#9：数据集的完整性—汇总数额字段数据194
16.13　测量类型#10：数据集的完备性—将大小与过去的大小作比较195
16.14　测量类型#11：记录的完备性—长度196
16.15　测量类型#12：字段的完备性—不可为空的字段197
16.16　测量类型#13：数据集的完整性—重复数据删除198
16.17　测量类型#14：数据集的完整性—重复记录的合理性检查199
16.18　测量类型#15：字段内容的完备性—来自数据源的默认值200
16.19　测量类型#16：基于日期标准的数据集的完备性202
16.20　测量类型#17：基于日期标准的数据集的合理性203
16.21　测量类型#18：字段内容的完备性—接收到的数据丢失要处理的关键字段204
16.22　测量类型#19：数据集的完备性—经过一个流程的记录数的平衡205
16.23　测量类型#20：数据集的完备性—拒绝记录的理由206
16.24　测量类型#21：经过一个流程的数据集的完备性—输入与输出的比率207
16.25　测量类型#22：经过一个流程的数据集的完备性—数额字段的平衡208
16.26　测量类型#23：字段内容的完备性—汇总的数额字段的比率209
16.27　测量类型#24：字段内容的完备性—推导的默认值211
16.28　测量类型#25：数据处理用时212
16.29　测量类型#26：供访问的数据的及时可用性214
16.30　测量类型#27：有效性检查，单字段，详细结果215
16.31　测量类型#28：有效性检查，卷积汇总218
16.32　测量类型#29：有效性检查，表内多列，详细结果219
16.33　测量类型#30：一致性列剖析221
16.34　测量类型#31：数据集内容的一致性，所表示的实体的不重复计数和记录数比率223
16.35　测量类型#32：数据集内容的一致性，两个所表示的实体的不重复计数的比率225
16.36　测量类型#33：一致性多列剖析226
16.37　测量类型#34：表内时序与业务规则的一致性229
16.38　测量类型#35：用时（小时、天、月等）一致性229
16.39　测量类型#36：数额字段跨二级字段计算结果的一致性231
16.40　测量类型#37：按聚合日期汇总的记录数的一致性233
16.41　测量类型#38：按聚合日期汇总的数额字段数据的一致性235
16.42　测量类型#39：父/子参照完整性236
16.43　测量类型#40：子/父参照完整性237
16.44　测量类型#41：有效性检查，跨表，详细结果238
16.45　测量类型#42：跨表多列剖析一致性239
16.46　测量类型#43：跨表的时序与业务规则的一致性240
16.47　测量类型#44：跨表数额列计算结果的一致性241
16.48　测量类型#45：按聚合日期汇总的跨表数额列的一致性241
16.49　测量类型#46：与外部基准比较的一致性242
16.50　测量类型#47：数据集的完备性—针对特定目的的总体充分性243
16.51　测量类型#48：数据集的完备性—测量和控制的总体充分性244
16.52　总结思考：了解你的数据245
术语表246
参考文献255

查看详情

数据质量测量的持续改进

内容简介:

作者简介:

目录: