中国移动省级NG2-BASS(v5.0)技术规范数据质量管理子系统分册

.

QB-Y-XXX-XXXX

The Technical Specification Fascicule for

Data Quality Management Subsystem of New G eneration 2 Business Analysis Support System 版本号：5.0.0

2014-X-XX实施 2014-X-XX发布

中国移动通信企业标准

中国移动省级NG2-BASS技术规范数据质量管理子系统分册

(v5.0)

中国移动通信集团公司 发布

QB-Y-XXX-2014

目

1. 2. 3. 4.

录

范围..................................................................... 1 规范性引用文件 ........................................................... 1 术语、定义和缩略语 ....................................................... 6 总体说明 ................................................................. 8 4.1. 4.2. 4.3.

概述 ............................................................. 8 建设目标 ......................................................... 9 系统架构 ......................................................... 9

5.

4.3.1. 功能架构 ..................................................... 9

4.3.2. 技术架构 .................................................... 13 业务问题 ................................................................ 14 5.1.

数据质量问题域 .................................................. 14 5.1.1.

5.1.2. 5.1.3. 5.1.4. 5.2.

信息问题域 .................................................. 15 技术问题域 .................................................. 16 流程问题域 .................................................. 17 管理问题域 .................................................. 17

应用专题 ........................................................ 18

6.

5.2.1. 开放式个人KPI监控 ......................................... 18

5.2.2. 数据质量满意度反馈 .......................................... 21 5.2.3. 新数据源质量稽核 ............................................ 23 5.2.4. 关键维度一致性监控 .......................................... 25 5.2.5. 数据质量计分卡 .............................................. 27 5.2.6. 数据质量图形化运维 .......................................... 28 5.2.7. KPI急报快报 ................................................ 32 5.2.8. 指标波动阈值预测 ............................................ 37 5.2.9. 接口数据内容检查 ............................................ 39 5.2.10. 中断式监控预警 .............................................. 44 数据质量获取层 .......................................................... 46 6.1.

数据采集范围 .................................................... 46 6.1.1.

6.1.2. 6.1.3. 6.1.4. 6.1.5. 6.2.

接口信息采集 ................................................ 47 基础编码采集 ................................................ 47 处理过程信息采集 ............................................ 47 指标信息采集 ................................................ 48 Hadoop结构化数据采集 ....................................... 48

数据采集功能 .................................................... 48

7. 数据质量存储层 .......................................................... 48 7.1.

数据质量存储内容 ................................................ 49 7.1.1.

7.1.2.

数据质量规则库 .............................................. 49 数据质量信息库 .............................................. 50

I

QB-Y-XXX-2014

7.1.3. 7.2. 8.

数据质量知识库 .............................................. 51 数据质量存储方式 ................................................ 53

数据质量功能层 .......................................................... 53 8.1.

基础功能 ........................................................ 54 8.1.1.

8.1.2. 8.1.3. 8.1.4. 8.1.5. 8.1.6. 8.1.7. 8.2.

规则配置管理 ................................................ 54 数据质量监控 ................................................ 62 数据质量问题处理 ............................................ 73 数据质量评估 ................................................ 77 数据质量报告 ................................................ 90 数据质量对外服务 ............................................ 94 数据质量两级联动 ............................................ 95

开放式个人KPI监控 ............................................ 110 8.2.1.

8.2.2. 8.2.3.

功能框架 ................................................... 110 处理流程 ................................................... 112 功能要求 ................................................... 115

8.3. 数据质量满意度反馈 ............................................. 119 8.3.1.

8.3.2. 8.3.3.

功能框架 ................................................... 119 处理流程 ................................................... 120 功能要求 ................................................... 121

8.4. 8.5.

Hadoop结构化数据稽核 .......................................... 122 新数据源质量稽核 ............................................... 123 8.5.1.

8.5.2. 8.5.3. 8.5.4.

新数据源范围 ............................................... 123 功能框架 ................................................... 124 处理流程 ................................................... 125 功能要求 ................................................... 126

8.6. 关键维度一致性监控 ............................................. 130 8.6.1.

8.6.2. 8.6.3.

功能架构 ................................................... 130 处理流程 ................................................... 131 功能要求 ................................................... 132

8.7. 数据质量计分卡 ................................................. 133 8.7.1.

8.7.2. 8.7.3.

功能架构 ................................................... 133 处理流程 ................................................... 135 功能要求 ................................................... 136

8.8. 数据质量图形化运维 ............................................. 143 8.8.1.

8.8.2.

数据质量图形化运维功能 ..................................... 144 数据质量图形化运维流程 ..................................... 148

8.9. KPI急报快报 ................................................... 154 8.9.1.

8.9.2.

业务流程 ................................................... 155 功能架构 ................................................... 156

II

QB-Y-XXX-2014

8.9.3. 8.9.4. 8.9.5. 8.9.6. 8.10.

急报快报订阅 ............................................... 157 急报快报监控实现 ........................................... 158 急报快报信息发布 ........................................... 159 急报快报问题反馈 ........................................... 160

指标波动阈值挖掘分析 ........................................... 160

挖掘分析功能 ............................................... 161 挖掘分析流程 ............................................... 163 挖掘分析模型 ............................................... 164 挖掘分析范围 ............................................... 166

8.10.1.

8.10.2. 8.10.3. 8.10.4. 8.11.

接口数据内容检查 ............................................... 168

内容检查功能 ............................................... 168

内容检查流程 ............................................... 171 内容检查方法 ............................................... 172

8.11.1.

8.11.2. 8.11.3. 8.12.

中断式监控预警 ................................................. 173

9.

8.12.1. 业务流程 ................................................... 173 8.12.2. 功能架构 ................................................... 174 8.12.3. 监控告警 ................................................... 175 8.12.4. 问题处理 ................................................... 177 8.12.5. 中断监控接口方案 ........................................... 178 8.12.6. 作业调度模块中断实现参考方案 ............................... 179 数据质量应用层 ......................................................... 180 9.1. 9.2. 9.3. 9.4. 9.5. 9.6. 9.7. 9.8. 9.9. 9.10. 9.11. 9.12. 9.13. 9.14. 9.15.

开放式个人KPI监控 ............................................ 181 数据质量满意度反馈 ............................................. 181 Hadoop结构化数据稽核 .......................................... 181 新数据源质量稽核 ............................................... 181 关键维度一致性监控 ............................................. 181 数据质量计分卡 ................................................. 182 数据质量图形化运维 ............................................. 182 数据质量两级联动管理 ........................................... 182 KPI急报快报 ................................................... 182 指标波动阈值预测 ............................................... 183 接口数据内容检查 ............................................... 183 中断式监控预警 ................................................. 183 BOSS接口数据稽核 ............................................. 184 客户信息主题评估 ............................................... 184 数据质量知识 ................................................... 185

III

QB-Y-XXX-2014

10. 数据质量运行维护管理 ................................................... 186

10.1.

数据质量管理机制 ............................................... 186

组织机构与职责 ............................................. 186

角色与职责 ................................................. 186

10.1.1.

10.1.2. 10.2.

数据质量管理流程 ............................................... 187

经营分析系统需求变更控制流程 ............................... 187

数据质量告警处理流程 ....................................... 188 数据质量问题处理流程 ....................................... 190 数据质量报告管理流程 ....................................... 191

10.2.1.

10.2.2. 10.2.3. 10.2.4. 10.3. 10.4.

管理范围 ....................................................... 192 定期报告 ....................................................... 193

10.4.1. 系统数据质量监控点报告 ..................................... 193 10.4.2. 数据质量问题处理率报告 ..................................... 193

11. 系统技术要求 ........................................................... 194

11.1. 11.2. 11.3. 11.4. 11.5. 11.6.

数据采集技术要求 ............................................... 194 数据存储要求 ................................................... 194 功能组件与对外交互要求 ......................................... 194 监控检查技术要求 ............................................... 194 控制台和对外服务接口技术要求 ................................... 195 数据质量监控其它实施要求 ....................................... 195

12. 编制历史 ............................................................... 196 附录A：中国移动省公司运营机构代码 ......................................... 204

IV

QB-Y-XXX-2014

前 言

本标准的制订是为了构建省级经营分析系统数据质量管控体系，以及时发现、定位和解决省级经营分析系统的各类数据质量问题，确保数据质量的稳定可靠。数据质量管理子系统是经营分析系统数据管理域的重要子系统，负责对经营分析系统数据质量进行全流程监控和管理。

本标准主要包括以下几方面的内容：总体说明、业务问题、系统功能、数据质量运行维护管理和系统技术要求等。

本标准是中国移动NG2-BASS（v5.0）系列标准之一。该系列标准的结构、名称或预计的名称如下：

序号 [1] [2] [3] [4] [5] [6] [7] [8] [9] [10] [11]

标准编号 QB-Y-***-2014 QB-Y-***-2014 QB-Y-***-2014 QB-Y-***-2014 QB-Y-***-2014 QB-Y-***-2014 QB-Y-***-2014 QB-Y-***-2014 QB-Y-***-2014 QB-Y-***-2014 QB-Y-***-2014

标准名称

中国移动省级NG2-BASS（5.0）业务规范 中国移动省级NG2-BASS（5.0）技术规范总册 中国移动省级NG2-BASS（5.0）技术规范数据

集市分册

中国移动省级NG2-BASS（5.0）技术规范逻辑模型分册

中国移动省级NG2-BASS（5.0）技术规范外部接口分册

中国移动省级NG2-BASS（5.0）技术规范元数据管理分册

中国移动省级NG2-BASS（5.0）技术规范数据质量管理子系统分册

中国移动省级NG2-BASS（5.0）技术规范安全管理技术方案

中国移动省级增值业务综合运营平台业务规范（3.0）

中国移动省级增值业务综合运营平台技术规范（3.0）

中国移动省级增值业务综合运营平台技术规范数据管理分册（3.0）

本标准附录A为标准性附录。 本标准由中移技﹝××﹞××号印发。

本标准由中国移动通信集团公司业务支撑系统部提出，集团公司技术部归口。 本标准起草单位：中国移动通信集团公司业务支撑系统部、中国移动通信集团公司研究院、中国移动（深圳）有限公司、中国移动通信集团黑龙江有限公司、

V

QB-Y-XXX-2014

中国移动通信集团辽宁有限公司。

本标准主要起草人：段云峰、隋琪、汪峰、张美鸥、姜宏宇、陶涛、刘虹、魏春辉。

VI

QB-Y-XXX-2014

1. 范围

本标准规定了中国移动省级经营分析系统数据质量管理子系统的建设内容，适用于中国移动各省（直辖市、自治区）公司省级经营分析系统数据质量管理子系统的建设。

2. 规范性引用文件

下列文件中的条款通过本标准的引用而成为本标准的条款。凡是注日期的引用文件，其随后所有的修改单（不包括勘误的内容）或修订版均不适用于本标准，然而，鼓励根据本标准达成协议的各方研究是否可使用这些文件的最新版本。凡是不注日期的引用文件，其最新版本适用于本标准。 [1] [2] [3] [4] [5] [6] [7] [8] [9] [10]

《中国移动省级经营分析系统业务规

范(v1.0)》

《中国移动省级经营分析系统技术规范(v1.0)》

《中国移动省级经营分析系统数据质量管理系统建设方案（v1.5）》 《中国移动省级经营分析系统数据仓库逻辑数据模型说明(v1.5)》 《中国移动省级经营分析系统数据集市业务技术规范(v1.5)》

《中国移动省级经营分析系统与源系统接口规范(v1.5)》

《中国移动省级经营分析系统与BOSS系统互动技术规范(v1.5)》 《中国移动省级经营分析系统业务规范（v1.5）—基础业务分册》 《中国移动省级经营分析系统业务规范（v1.5）—数据业务分册》 《中国移动省级经营分析系统业务规范（v1.5）—集团客户分册》 《中国移动业务运营支撑系统（BOSS）业务技术规范营销资源管理分册（2.0版）》

《中国移动业务运营支撑系统（BOSS）业务技术规范客服信息分册

中国移动通信有限公司

中国移动通信有限公司

中国移动通信有限公司

中国移动通信有限公司

中国移动通信有限公司

中国移动通信有限公司

中国移动通信有限公司

中国移动通信有限公司

中国移动通信有限公司

中国移动通信有限公司

中国移动通信有限公司

中国移动通信有限公司

1

QB-J-010-2006 QB-J-006-2006 QB-J-007-2006 QB-J-008-2006 QB-J-009-2006 QB-J-003-2006 QB-J-004-2006 QB-J-005-2006

[11] QB-J-001-2006

[12] QB-J-001-2006

QB-Y-XXX-2014

[13] QB-J-001-2006 [14] QB-J-021-2007 [15] QB-J-020-2007 [16] QB-J-022-2007 [17] QB-J-019-2007 [18] QB-J-018-2007 [19] QB-J-017-2007 [20] QB-J-016-2007

[21] [22] [23] [24]

[25]

[26] [27]

[28] QB-J-002-2008 [29] QB-J-003-2008 [30]

QB-J-004-2008

（2.0版）》

《中国移动业务运营支撑系统（BOSS）业务技术规范（2.0版）》 《中国移动省级经营分析系统数据仓库逻辑数据模型规范（v2.0）》 《中国移动省级经营分析系统与源数据接口规范（v2.0）》

《中国移动省级经营分析系统数据集市业务技术规范（v2.0）》

《中国移动省级经营分析系统业务规范渠道运营管理分析监控分册（v1.0）》《中国移动省级经营分析系统业务规范客户服务分册（v2.0）》

《中国移动省级经营分析系统业务规范集团客户分册（v2.0》

《中国移动省级经营分析系统数据质量管理系统业务技术规范（V2.0)》

《中国移动业务支撑网4A安全技术规范》 《中国移动省级经营分析系统技术规范总册（v2.0全量版）》

《中国移动省级经营分析系统技术规范逻辑模型分册（v2.0全量版）》 《中国移动省级经营分析系统技术规范数据集市分册（v2.0全量版）》 《中国移动省级经营分析系统技术规范数据质量管理子系统分册（v2.0全量版）》

《中国移动省级经营分析系统业务规范（v2.0全量版）》

《中国移动省级经营分析系统技术规范源系统接口分册（v2.0全量版）》 《中国移动省级NG1-BASS技术规范总册(v1.0)》

《中国移动省级NG1-BASS技术规范数据集市分册(v1.0)》

《中国移动省级NG1-BASS技术规范逻辑模型分册(v1.0)》

中国移动通信有限公司

中国移动通信有限公司

中国移动通信有限公司

中国移动通信有限公司

中国移动通信有限公司 中国移动通信有限公司

中国移动通信有限公司

中国移动通信有限公司

中国移动通信有限公司 中国移动通信有限公司

中国移动通信有限公司

中国移动通信有限公司

中国移动通信有限公司

中国移动通信有限公司

中国移动通信有限公司

中国移动通信集团公司

中国移动通信集团公司

中国移动通信集团公司

2

QB-Y-XXX-2014

[31] QB-J-005-2008 [32] QB-J-006-2008 [33] QB-J-007-2008 [34] QB-J-008-2008 [35] QB-J-001-2008 [36] QB-Y-003-2009 [37] QB-Y-004-2009 [38] QB-Y-005-2009 [39] QB-Y-006-2009 [40] QB-Y-007-2009 [41] QB-Y-008-2009 [42] QB-Y-002-2009 [43] QB-Y-052-2010 [44] QB-Y-053-2010 [45] QB-Y-054-2010 [46] QB-Y-055-2010 [47] QB-Y-056-2010 [48] QB-Y-057-2010 [49]

QB-Y-058-2010

《中国移动省级NG1-BASS技术规范源系统接口分册(v1.0)》

《中国移动省级NG1-BASS技术规范元数据管理分册(v1.0)》

《中国移动省级NG1-BASS技术规范数据质量管理子系统分册(v1.0)》 《中国移动省级NG1-BASS业务技术规范客户分析及运营分册(v1.0)》 《中国移动省级NG1-BASS业务规范(v1.0)》

《中国移动省级NG1-BASS技术规范总册(v2.0)》

《中国移动省级NG1-BASS技术规范数据集市分册(v2.0)》

《中国移动省级NG1-BASS技术规范逻辑模型分册(v2.0)》

《中国移动省级NG1-BASS技术规范外部接口分册(v2.0)》

《中国移动省级NG1-BASS技术规范元数据管理分册(v2.0)》

《中国移动省级NG1-BASS技术规范数据质量管理子系统分册(v2.0)》 《中国移动省级NG1-BASS业务规范(v2.0)》

《中国移动省级NG2-BASS(v3.0)业务规范》

《中国移动省级NG2-BASS(v3.0)技术规范总册》

《中国移动省级NG2-BASS(v3.0)技术规范数据集市分册》

《中国移动省级NG2-BASS(v3.0)技术规范逻辑模型分册》

《中国移动省级NG2-BASS(v3.0)技术规范外部接口分册》

《中国移动省级NG2-BASS(v3.0)技术规范元数据管理分册》

《中国移动省级NG2-BASS(v3.0)技术规范数据质量管理子系统分册》

中国移动通信集团公司

中国移动通信集团公司

中国移动通信集团公司

中国移动通信集团公司

中国移动通信集团公司

中国移动通信集团公司

中国移动通信集团公司

中国移动通信集团公司

中国移动通信集团公司

中国移动通信集团公司

中国移动通信集团公司

中国移动通信集团公司

中国移动通信集团公司

中国移动通信集团公司

中国移动通信集团公司

中国移动通信集团公司

中国移动通信集团公司

中国移动通信集团公司

中国移动通信集团公司

3

QB-Y-XXX-2014

[50] QB-Y-059-2010 [51] QB-Y-060-2010 [52] QB-Y-061-2010 [53] QB-Y-062-2010 [54] QB-Y-063-2010 [55] QB-Y-039-2011 [56] QB-Y-038-2011 [57] QB-Y-040-2011 [58] QB-Y-041-2011 [59] QB-Y-042-2011 [60] QB-Y-043-2011 [61] QB-Y-044-2011 [62] QB-Y-045-2011 [63] QB-Y-046-2011 [64] QB-Y-047-2011 [65] QB-Y-048-2011 [66] QB-Y-044-2012 [67] QB-Y-045-2012 [68]

QB-Y-045.1-2012

《中国移动省级NG2-BASS(v3.0)技术规范多OP能力交互分册》

《中国移动省级增值业务综合运营平台业务规范(v1.0)》

《中国移动省级增值业务综合运营平台技术规范(v1.0)》

《中国移动省级增值业务综合运营平台技术规范-数据管理分册(v1.0)》 《中国移动省级增值业务综合运营平台接口规范》

《中国移动省级NG2-BASS(v3.5)业务规范》

《中国移动省级NG2-BASS(v3.5)技术规范总册》

《中国移动省级NG2-BASS(v3.5)技术规范数据集市分册》

《中国移动省级NG2-BASS(v3.5)技术规范逻辑模型分册》

《中国移动省级NG2-BASS(v3.5)技术规范外部接口分册》

《中国移动省级NG2-BASS(v3.5)技术规范元数据管理分册》

《中国移动省级NG2-BASS(v3.5)技术规范数据质量管理子系统分册》 《中国移动省级NG2-BASS(v3.5)技术规范OP能力交互分册》

《中国移动省级增值业务综合运营平台业务规范(v1.5)》

《中国移动省级增值业务综合运营平台技术规范(v1.5)》

《中国移动省级NG2-BASS技术规范系统安全管理分册(v1.5)》

《中国移动省级NG2-BASS(v4.0)业务规范》

《中国移动省级NG2-BASS(v4.0)技术规范总册》

《中国移动省级NG2-BASS(v4.0)技术规范数据集市分册》

中国移动通信集团公司

中国移动通信集团公司

中国移动通信集团公司

中国移动通信集团公司

中国移动通信集团公司

中国移动通信集团公司

中国移动通信集团公司

中国移动通信集团公司

中国移动通信集团公司

中国移动通信集团公司

中国移动通信集团公司

中国移动通信集团公司

中国移动通信集团公司

中国移动通信集团公司

中国移动通信集团公司

中国移动通信集团公司

中国移动通信集团公司

中国移动通信集团公司

中国移动通信集团公司

4

QB-Y-XXX-2014

[69] [70] [72] [73] QB-Y-045.2-2012 QB-Y-045.3-2012 QB-Y-045.4-2012 QB-Y-045.5-2012 《中国移动省级NG2-BASS(v4.0)技术规范逻辑模型分册》

《中国移动省级NG2-BASS(v4.0)技术规范外部接口分册》

《中国移动省级NG2-BASS(v4.0)技术规范元数据管理分册》

《中国移动省级NG2-BASS(v4.0)技术规范数据质量管理子系统分册》

中国移动通信集团公司

中国移动通信集团公司

中国移动通信集团公司

中国移动通信集团公司

[74] QB-Y-046-2012 [75] QB-Y-047-2012 [76] QB-Y-047.1-2012 [77] QB-Y-044-2013 [78] QB-Y-045-2013 [79] QB-Y-045.1-2013 [80] QB-Y-045.2-2013 [81] QB-Y-045.3-2013 [82] QB-Y-045.4-2013 [83] QB-Y-045.5-2013 [84] QB-Y-045.6-2013 [85] QB-Y-046-2013 [86] QB-Y-047-2013 [87]

QB-Y-047.1-2013

《中国移动省级增值业务综合运营平台业务规范V2.0.0》

《中国移动省级增值业务综合运营平台技术规范V2.0.0》

《中国移动省级增值业务综合运营平台技术规范数据管理分册V2.0.0》 《中国移动省级NG2-BASS(v4.5)业务规范》

《中国移动省级NG2-BASS(v4.5)技术规范总册》

《中国移动省级NG2-BASS(v4.5)技术规范数据集市分册》

《中国移动省级NG2-BASS(v4.5)技术规范逻辑模型分册》

《中国移动省级NG2-BASS(v4.5)技术规范外部接口分册》

《中国移动省级NG2-BASS(v4.5)技术规范元数据管理分册》

《中国移动省级NG2-BASS(v4.5)技术规范数据质量管理子系统分册》 《中国移动省级NG2-BASS(v4.5)技术规范安全管理技术方案》

《中国移动省级增值业务综合运营平台业务规范V2.5.0》

《中国移动省级增值业务综合运营平台技术规范V2.5.0》

《中国移动省级增值业务综合运营平台技术规范数据管理分册V2.5.0》

中国移动通信集团公司

中国移动通信集团公司

中国移动通信集团公司

中国移动通信集团公司

中国移动通信集团公司

中国移动通信集团公司

中国移动通信集团公司

中国移动通信集团公司

中国移动通信集团公司

中国移动通信集团公司

中国移动通信集团公司

中国移动通信集团公司

中国移动通信集团公司

中国移动通信集团公司

5

QB-Y-XXX-2014

3. 术语、定义和缩略语

下列术语、定义适用于本标准： 字母 名词 解释 覆盖经营分析系统数据处理环节的、获取每个环节运行状态S 数据采集点 的实体。该实体可以是程序实体也可以是任务实体 数据质量报告是对数据质量日常监控以及质量评估等过程累S 数据质量报告 积的各种信息进行汇总、梳理、统计和分析，形成的统计报告 数据管理域与信息服务域、经营服务域共同构成经营分析系S 数据管理域 统三域功能架构。数据管理域包含元数据管理、数据质量管理、安全管理和运维管理四部分 自动获取经营分析系统各环节的数据质量信息，结合元数据S 数据质量监控 库中的有关采集规则和检查规则，对数据质量情况进行诊断，并及时向数据质量监控人员报告 数据质量采集代理S (Agent) 数据质量管理子系S 统 和数据质量问题处理 数据质量规则库是对数据质量管理活动所用到的各种判断及S 数据质量规则库 校验规则进行归类和存放的存储结构，存储的内容包括采集规则、监控规则、告警规则和审计规则等 数据质量管理子系统存储层上的存储结构，用于存储数据质S 数据质量信息库 量信息采集程序采集的数据质量信息、质量评估信息、问题解决方案和问题处理流程信息等 数据质量管理子系统存储层上的存储结构，用于存放数据质S S 数据质量知识库 量问题相关的识别方法（规则）、问题描述信息及解决方案 数据质量评估 数据质量评估是由数据质量管理人员根据需要发起，依据评6

子系统，其功能是对经营分析系统数据质量进行监控、评估采集服务端（Server）相对应 数据质量管理子系统属于经营分析系统数据管理域中的一个是指完成数据质量数据采集功能的功能节点实体，该实体与QB-Y-XXX-2014

字母 名词 解释 估指标和评估方法，对源接口基础数据、基础编码或经营分析系统指标进行评价，得到评估结果并作为系统数据质量改进的参考和依据的过程 元数据是描述数据间关系的数据。经营分析系统中元数据泛指描述数据概念（Concepts）、数据间关系（Roles）、数据处Y 元数据 理规则（Rules）的数据，其中，领域语义（Semantics）和知识（Knowledge）也属于元数据的范畴 Z

下列缩略语适用于本标准： 缩写 BOSS BASS BOMC CSS CRM DPI DSMP ETL FAQ GSM 英文描述 Business Operation Support System Business Analyse Support System 统 Business OperationManagementCenter Cascading Style Sheet 则，用于控制Web页面的外观 Customer Relationship Management Deep Packet Inspection 层的流量检测和控制技术 Data Service Management Platform Extraction Transformation Loading Frequently Asked Questions Global System for Mobilecommunication 前使用最广的移动通信系统 一个能够对大量数据进行分布式Hadoop Hadoop 处理的软件框架 数据业务管理平台 抽取、转换和加载 常见问题解答 GSM移动通信系统。GSM是目客户关系管理 深度包检测技术是一种基于应用业务支撑网管理系统 层叠样式表，是一组格式设置规中文描述 业务运营支撑系统 经营分析系统，简称经营分析系组件 组件是实现特定功能的程序模块 7

QB-Y-XXX-2014

缩写 英文描述 中文描述 Hive是在Hadoop平台基础上的数据查询引擎，基于HDFS文件系统级MapReduce计算框架，提供一套类Hive Hive SQL查询语言交互方式，并由其翻译为Hadoop可执行的MapReduce作业，实现数据操作 Hive 定义的简单的类 SQL 查HQL KPI MMS IP OLAP TD VPMN HiveQL 询语言 Key Performance Indicator Multimedia Message Service Internet Protocol On-line Analysis Process TD-SCDMA 线通信的技术标准 Virtual Private Mobile Network 虚拟专用移动通信网 关键绩效指标 多媒体信息服务 网络之间互连的协议 在线分析处理 时分同步码分多址接入，一种无4. 总体说明

数据质量管理子系统是经营分析系统数据管理域的重要组成部分。本章是对该子系统的基本概述，具体包括：数据质量管理子系统概述、建设目标及系统架构。 4.1. 概述

经营分析系统数据质量管理体系包括对数据源接口、数据实体、处理过程、数据应用和业务指标等相关内容的管控机制和处理流程，也包括对数据质量管控处理的信息总结和知识应用等辅助内容。数据质量管理子系统是经营分析系统数据质量管理体系的技术支撑平台。

本规范用于指导省级经营分析系统数据质量管理子系统建设。本规范规定了经营分析系统数据质量管理的范围和要求，说明了数据质量管理子系统的体系结构，规定了数据质量管理子系统的基础功能和处理流程，明确了在基础功能之上的各种应用的要求。本规范提出构建由数据质量监控、数据质量问题处理、规则配置管理、数据质量评估、图形化运维、数据

8

QB-Y-XXX-2014

质量报告、数据质量知识库和数据质量对外服务等功能构成的数据质量管理子系统。

本期规范旨在提升数据质量管理子系统的易用性和协作性，降低技术门槛。通过开放式个人KPI监控和数据质量满意度反馈，使得更多业务人员可以更容易的参与数据质量监控，实现全员数据质量监控；扩展经分数据质量管理的范畴，实现对Hadoop结构化数据的数据质量稽核。 4.2. 建设目标

数据质量管理子系统的建设为数据质量管理工作提供强有力的系统支撑。本期规范建设目标是：

? 为了激励市场部等业务人员和地市运维人员等全员参与数据质量管理，本期通过开

放式个人KPI监控减低技术门槛，提升易用性，使得更多人员能够参与到数据质量管理子系统的日常应用中，共同提升经营分析系统的数据质量；

? 本期通过数据质量满意度反馈应用，让业务人员主动参与到数据质量工作中，将数

据质量意见及时反馈到数据质量管理子系统，形成闭环的数据质量管理流程； ? 建设Hadoop结构化数据稽核功能，提供采集Hadoop结构化数据的能力，并对

Hadoop数据进行抽样稽核，初步建立对Hadoop结构化数据的数据质量管理能力，拓展数据质量管理子系统的应用范围。

4.3. 系统架构

本章从功能结构和技术结构两方面说明了数据质量管理子系统的体系结构，在功能结构一节简要说明了各个层次的功能，在技术结构一节说明了各个组件的实现方式以及数据质量管理子系统与经营分析系统其它模块的关系。

4.3.1. 功能架构

数据质量管理子系统的功能结构包括获取层、存储层、功能层、应用层四部分，如图4-1所示：

9

QB-Y-XXX-2014

图4-1数据质量管理子系统功能结构图

下面简要描述各层要求实现的功能： ? 获取层

获取层主要实现数据质量数据的采集功能。数据质量采集模块负责采集所需的源系统和经营分析系统监控数据，它是数据质量管理功能和应用的基础。采集的数据范围包括接口信息、基础编码信息、经营分析系统数据处理过程信息、Hadoop Hive数据采集和业务指标数据等。

? 存储层

存储层主要包括三个部分：

? 数据质量规则库：存储数据质量管理子系统的相关规则信息，包括数据质量采集规

则、监控规则、告警规则及两级数据质量联动审计规则等；

? 数据质量信息库：存储数据质量所有的告警信息、质量评估信息和问题处理流程信

息等；监控数据：包括指标监控、接口监控、作业监控等实时监控的历史信息，通过历史信息进行数据分析相关功能；

? 数据质量知识库：存储数据质量监控知识、数据质量评估知识和数据质量问题及其

处理方法知识，包括接口问题处理知识、ETL问题处理知识、仓库处理过程问题处理知识和指标异常及处理知识等。 ? 功能层

功能层包含了数据质量管理子系统的基础功能，它为数据质量管理的前端应用提供功能

10

QB-Y-XXX-2014

支撑，主要包括以下功能：

? 规则配置管理：规则配置管理实现基于动态规则配置的监控稽核功能，建立数据质

量监控规则库，实现监控稽核规则的可配置可管理。规则配置管理包括规则设置、规则维护、规则调度及规则优化等功能；

? 数据质量监控：数据质量监控是根据配置的规则或算法，对采集的数据进行数据质

量监控，对发现的数据质量异常情况进行告警的过程，包括源接口关键数据稽核、实体数据检查、处理过程检查、关键指标检查、分层分级告警管理等功能； ? 数据质量问题处理：数据质量问题处理是按照问题处理流程对系统监控所发现的问

题以及手工提交的问题进行处理的过程，包括问题生成、问题分析、问题处理（包括流转）和问题总结；

? 数据质量评估：数据质量评估包括源接口基础数据质量评估、基础编码评估和经营

分析系统指标关联性分析。源接口基础数据质量评估是根据评估指标和评估方法，对源接口基础数据的数据质量进行评价；基础编码评估是对经营分析系统的基础编码的一致性和有效性等进行评估；经营分析系统指标关联性分析通过对指标进行关联性检查发现潜在的数据质量问题，相关的评估结果作为系统质量改进的参考和依据；

? 数据质量报告：数据质量报告是对数据质量管理各环节累积的各种信息进行汇总、

梳理、统计和分析，形成统计报告的过程，基本功能主要包括：报告生成、报告发布、报告查询和报告归档；

? 数据质量对外服务：数据质量对外服务负责数据质量管理子系统与经营分析系统其

他模块及外部系统进行数据质量信息交互；

? 开放式个人KPI监控：减低数据质量管理子系统配置业务规则和结果展示的技术

门槛，提升易用性，激励更多人员参与到数据质量管理中来，实现全员数据质量管理。

? 数据质量满意度反馈：通过建设数据质量满意度反馈功能，让业务人员对数据质量

进行反馈，提升数据质量管理水平，形成闭环的数据质量管理流程。

? Hadoop结构化数据稽核：增强原有数据质量稽核功能，获取层采集Hadoop结构

化数据，并对其进行抽样的数据质量稽核。

? 新数据源质量稽核：建立与源数据系统共享的公共规则库，采用常规检查和数据比

对等数据抽样检查方法，对新数据源的数据质量进行稽核，从源头解决数据质量问

11

QB-Y-XXX-2014

题，提升经营分析系统网络数据和财务数据等新数据源的数据质量；

? 关键维度一致性监控：提供维度内容和数据结构变化监控，从源头上发现维度变更

问题，提交数据源系统进行确认和处理。通过关键维度影响分析功能，通知指标使用者注意指标数据的变化；

? 数据质量计分卡：基于现有的数据质量监控和告警处理功能，按照经营分析系统的

层次结构和数据质量属性维度配置计分权重，评估各个层次对象数据质量规则的达标程度，得出经营分析系统数据质量分数，量化展现系统的数据质量情况；同时建设数据质量问题处理率分析功能，提升系统运维能力；

? 数据质量图形化运维：基于元数据血统图、出数路线图和指标运算关系图，实现图

形化的指标全景监控、指标出数实时情况监控和指标运算关系监控，实现数据质量监控图形化管理，提高系统易用性；

? 数据质量两级联动：数据质量两级联动实现省级经营分析系统和一级经营分析系统

数据质量信息的两级联动，打通从省级经营分析系统到一级经营分析系统端到端的数据质量管理链路，支持一经接口数据及时性和准确性问题审计，提升省级经营分析系统对一经接口数据质量保障能力和一级经营分析系统对全网业务数据监管能力。数据质量联动包括联动链路获取、联动审计和联动异常处理等功能； ? 急报快报：让业务人员能够及时的获取指标波动信息，并且能够直接在经营分析系

统前端订阅业务人员关注的指标，并获取订阅指标的异常信息。

? 指标波动阈值挖掘分析：实现对KPI指标波动范围的挖掘分析，帮助提升KPI指

标监控规则设置的准确性，减少人为因素干扰；

? 接口数据内容检查：提供接口数据字段内容检查功能，监控接口数据内容的质量问

题，获取存在质量问题的数据集，提供给数据源系统进行根治处理；

? 中断式监控预警：通过经营分析作业调度模块与数据质量管理子系统的交互，当上

游作业发生数据质量问题时，能够及时停止后续作业的运行，避免错误数据影响扩大。 ? 应用层

应用层在数据质量管理子系统功能层的支持下为数据质量管理各环节管控和处理提供具体应用解决方案，主要包括开放式个人KPI监控、数据质量满意度反馈、新数据源质量稽核、关键维度一致性监控、数据质量计分卡、数据质量图形化运维、数据质量两级联动管理、KPI急报快报、指标波动阈值预测、接口数据内容检查、中断式监控预警和数据质量知

12

QB-Y-XXX-2014

识应用等。

4.3.2. 技术架构

数据质量管理子系统的技术结构包括获取层、存储层、功能层、应用层等四部分，如

图4-2所示。

图4-2数据质量管理子系统技术结构图

? 获取层

数据质量采集模块由数据质量采集代理(Agent)和采集服务端（Server）组成，共同完成

13

QB-Y-XXX-2014

质量信息的采集方式配置、采集执行、数据格式转换等功能。质量信息的范围包括源系统接口文件、指标数据以及经营分析系统的各种库表、程序运行、指标等数据和Hadoop结构化数据。采集到的数据存储在数据质量存储库中，并作为监控检查的输入。

? 存储层

存储层采用关系数据库方式存储各种质量信息，主要包括数据质量规则、数据质量信息和数据质量知识等。数据加载的方式根据实际应用可采用增量或全量加载的方式。存储库根据数据的不同类型采用不同的存储周期，质量规则和质量知识采用长期在线存储，质量信息采用短期在线存储和定期备份压缩存储。

? 功能层

功能层包括规则配置管理、数据质量监控、数据质量问题处理、数据质量评估、数据质量报告、开放式个人KPI监控、数据质量满意度反馈、Hadoop结构化数据稽核、新数据源质量稽核、关键维度一致性监控、数据质量图形化运维以及数据质量两级联动等模块。相关功能通过数据质量控制台的相关调度引擎进行协同工作，并与其他模块有如下交互：

? 与存储层进行各种质量信息的交互；

? 与元数据管理模块通过REST服务接口进行交互； ? 支撑应用层的相关应用；

? 能够提供对外服务，让其它系统集成数据质量管理子系统的相关功能。 ? 应用层

应用层基于功能层为数据质量管理各环节管控和处理提供具体应用解决方案，主要包括开放式个人KPI监控、数据质量满意度反馈、新数据源质量稽核、关键维度一致性监控、数据质量图形化运维、数据质量两级联动管理等。应用层通过Portlet/iFrame等方式向经营分析系统门户提供各种质量信息。

5. 业务问题

5.1. 数据质量问题域

数据质量问题是数据质量管理的核心。本节对经营分析系统数据质量问题进行了概述，并对本规范覆盖的范围进行了说明。数据质量问题按照来源和具体原因，可以分为信息、技术、流程和管理四个问题域，如图5-1所示。

14

QB-Y-XXX-2014

图5-1数据质量的四个问题域

5.1.1. 信息问题域

信息类问题是由于对数据本身的描述、理解及其度量标准偏差而造成的数据质量问题，如图5-2所示。

图5-2信息问题域

产生这类数据质量问题的主要原因包括：元数据描述及理解错误、数据度量得不到保证和变化频度不恰当等。

数据度量主要包括完整性、唯一性、一致性、准确性和合法性。变化频度主要包括业务系统数据的变化周期和实体数据的刷新周期。

信息类问题中易引起描述及理解错误的元数据主要包括：

? 业务元数据——主要包括业务术语、信息分类、指标定义（指标口径）、业务规则

等信息；

? 技术元数据——主要包括对数据结构、数据处理方面的特征描述，覆盖经营分析系

统数据源接口、数据仓库、ETL、OLAP、数据挖掘、前端展现等全部数据处理环

15

QB-Y-XXX-2014

节。

5.1.2. 技术问题域

技术类问题是指由于具体数据处理的各技术环节异常而造成的数据质量问题，它产生的直接原因是技术实现上的某种缺陷，如图5-3所示。

图5-3技术问题域

技术类数据质量问题主要产生在数据创建、数据获取、数据传递、数据装载、数据使用和数据维护等环节，具体描述如下：

? 数据创建质量问题主要包括：业务系统话单延迟入库、创建数据默认值不当和数据

录入的校验规则不当，导致指标统计结果不一致、数据无效和记录重复等； ? 数据获取质量问题主要包括：采集点不正确、取数时间点不正确以及接口数据在获

取过程中失真，例如编码转换处理错误或精度不够，导致指标统计结果不一致或数据无效等；

? 数据传递质量问题主要包括：接口数据及时率低、接口数据漏传和网络传输过程不

可靠，例如包丢失、文件传输方式错误、传输技术问题和协议使用不当导致的数据不完整等；

? 数据装载质量问题主要包括：数据清洗算法、数据转换算法、数据加载算法的错误

和调度机制不合理等；

16

QB-Y-XXX-2014

? 数据使用质量问题主要包括：展示工具使用错误、展示方式不合理和展示周期不合

理等；

? 数据维护质量问题主要包括：数据备份/恢复错误、数据的存储能力有限、维护过

程缺乏验证机制和人为后台调整数据等。

5.1.3. 流程问题域

流程类问题是指由于系统作业流程和人工操作流程设置不当造成的数据质量问题，如图5-4所示。

图5-4流程问题域

流程类问题主要来源于经营分析系统的数据创建流程、数据传递流程、数据装载流程、数据使用流程、数据维护流程和稽核流程等各环节，具体描述如下：

? 数据创建流程质量问题主要指操作员数据录入时缺乏审核流程； ? 数据传递流程质量问题主要指通信流程沟通不畅；

? 数据装载流程质量问题主要指清洗流程缺乏/不当、调度流程逻辑错误、数据加载

流程逻辑错误及数据转换流程逻辑错误；

? 数据使用流程质量问题主要指数据使用流程缺乏流程管理；

? 数据维护流程质量问题主要指缺乏变更维护流程、缺乏错误数据维护流程、缺乏数

据测试流程以及对人工后台调整数据没有严格的流程监控； ? 稽核流程质量问题主要指缺乏数据检查及问题反馈流程。 5.1.4. 管理问题域

管理类问题是指由于人员素质及管理机制方面的原因造成的数据质量问题，如图5-5所

17

QB-Y-XXX-2014

示。

图5-5管理问题域

管理类问题主要包括人员的管理、培训和激励等方面的措施不当导致的管理缺失。人员培训所产生的质量问题主要指对数据质量相关人员缺少长期培训计划；人员管理所产生的质量问题主要指缺乏管理目标、责任人缺失或有关人员缺乏责任心和工作的优先级安排不当；人员激励所产生的质量问题主要指缺乏奖惩制度、奖惩制度的执行不到位、激励反馈渠道不畅和缺乏反馈机制。 5.2. 应用专题

本期规范丰富了数据质量管理相关应用，提升数据质量管理支撑范围和能力，拓展数据质量管理系统使用对象范围。通过引入新的技术和管理手段，在现有系统的基础上不断改进数据质量监控机制，并增强与外部系统交互互助的能力。

5.2.1. 开放式个人KPI监控

5.2.1.1. 应用背景

对业务数据质量的监控需要市场部、数据部等业务人员和地市运维人员的积极参与，而目前数据质量管理子系统主要是由省公司经分运维人员使用，对业务人员来说仍旧存在一定的技术门槛。

本应用主要面向市场部、数据部以及地市业务人员和运维人员，建立易于业务人员理解和使用的业务规则编辑工具，并根据业务人员编辑的业务规则提供定制化的反馈结果。同时，

18

QB-Y-XXX-2014

提供excel批量导入业务规则的功能，简化业务人员和经分运维人员的使用。 5.2.1.2. 目标与方案

? 建设目标：

建设便于业务人员使用的业务规则编辑器，业务人员可以在编辑器中简单易懂的对其所关注的报表、指标设立监控规则，这些监控规则通过数据质量管理子系统自动处理和人工干预相结合的方式，配置到所需监控的环节。监控结果反馈到数据质量运维人员和对应的业务人员的终端上。

如果业务人员不方便使用业务规则编辑器，也可以在给定的excel模板上创建报表、指标监控规则，然后导入到数据质量管理子系统中。

? 建设方案：

开放式个人KPI监控主要包括以下内容（详见错误！未找到引用源。错误！未找到引用源。）：

? 业务规则编辑器：业务人员在业务规则编辑器选择自己关注的指标，然后选择

需要监控的规则，规则包括但不限于到达及时性、波动性、指标阈值等。选定规则后可以进行设定，例如每天到达时间不迟于早10点，同比波动率在-5%～5%之间等。

? 业务人员定制化监控结果展示：系统根据用户定制的规则，自动将只与该用户

相关的内容显示在用户登录数据质量管理子系统后的首页面中，便于用户第一时间看到自己关注指标的信息。

? 开放式个人KPI监控及结果展示管理器：该管理器用于存储和管理每个业务

人员的监控规则，并反馈监控结果。

? 业务规则批量导入：业务人员可以在excel模板中填写自己所关注指标的业务

监控规则，然后数据质量运维人员通过自动导入和人工干预的方式将这些监控规则配置到相应的指标上。

? 移动APP应用支持：用户可以在移动APP应用上配置指标相关监控规则，包

括监控对象的出数及时率、波动范围、阈值等，数据质量管理子系统根据用户配置的规则反馈监控结果到移动APP应用。

19

QB-Y-XXX-2014

5.2.1.3. 应用场景

5.2.1.3.1. 业务人员定制个人KPI监控的典型场景

图5-6业务人员定制化监控结果展示应用场景

场景说明如下：

市场部、数据部等部门的业务人员都有其各自关注的业务指标，特别是KPI指标或者上报指标，他们希望能尽早发现数据的异常。

通过业务规则编辑器，业务人员可以很方便的编辑自己关注指标的监控规则，例如是否每天及时出数、指标波动是否异常等，设置好这些监控规则后，业务人员再登录到数据质量管理子系统，就可以直接查看自己关注指标的监控结果，而不需要再从系统中检索。 5.2.1.3.2. 通过移动APP应用对个人KPI进行监控的场景

场景说明如下：

近期某省向地市公司下发了KPI考核指标“重要集团客户整体收入”，地市经分运维人员和业务人员希望能够及时获知该指标的出数情况和波动情况，以确保发现异常及时处理。

业务人员打开移动APP应用，选择指标“重要集团客户整体收入”，并对其出数时间、波动率和阈值进行监控配置。

此后，用户打开自己的移动APP应用，就可以随时查看“重要集团客户整体收入”目前的出数情况和数值是否正常。

用户登录移动APP应用，如果当日的指标数据还没出来，可以点击指标名称，请求数

20

QB-Y-XXX-2014

据质量管理子系统发送实时出数状态；数据质量管理子系统将出数实时运行图导出成图片，发送到移动APP应用上。

图5-7移动APP应用上监控KPI指标场景

5.2.2. 数据质量满意度反馈

数据质量满意度反馈应用，从辅助数据管理与数据质量监控的角度出发，让业务人员对质量监控目标的达成状况、质量监控客体的状态等进行反馈，以增强整个数据质量监控活动的自我纠错能力，使之处于不断优化、不断完善的过程中。 5.2.2.1. 应用背景

目前数据质量评价的主体是数据质量管理员，但是业务人员作为数据应用的主要角色，他们在数据质量管理子系统的使用过程中，才能够真实的感知到数据质量给他们带来的价值或问题。将这些价值或问题进行收集整理，作为数据质量管理提升的依据。

以往业务人员对于数据质量的反馈，只能通过邮件、例会或调研等形式收集，造成收集信息周期长、效率低、参与人员少等问题，无法实现全员参与数据质量管理工作的目的。

21

QB-Y-XXX-2014

5.2.1.2.目标与方案

改变以往业务人员在数据使用过程中，对于数据质量意见不能及时反馈的状况，将反馈

方式从线下改为线上。已经建立的数据质量监控体系，要使之正常运行，就必须要有一套与之相配的用户信息反馈机制,这样一方面可以确保监控体系所指向的质量目标得以实现，另一方面也可以在实践过程中检验、校正数据质量监控体系的科学性和有效性。

数据质量满意度反馈应用作为数据质量监控体系有效运行的一个重要环节，不断赋予数据质量监控体系新的活力，是完善和优化数据质量监控体系的基础，是数据质量得以不断提高的前提。

数据质量满意度反馈的信息框图如下所示：

收集信息归纳整理数表、图形特征值判断分析对象主要问题质量动态措施提高质量 图5-8数据质量满意度反馈信息框图

主要包括如下几个内容：

1. 数据质量页面评分及意见收集功能，用来收集使用者对数据质量的意见； 2. 建设数据质量满意度反馈分析体系，得出数据质量满意度情况；

3. 结合页面评分体系和满意度评价体系，通过归纳和整理列出相关的数据表、图形以

及特征值分析；

4. 通过判断和分析，得出主要的数据质量问题。管理员获得关键问题对象，提交管理

层；

5. 数据质量管理决策层，通过提交的分析结果，制定下一步数据质量提升的措施，逐

步提升经分数据质量。

5.2.2.2. 应用场景

业务人员对某业务的“月新增用户数”指标设定了波动范围的监控。本月该指标数据出

来后，虽然没有超出波动范围，但与业务人员自身的统计结果不符，业务人员通过满意度反馈将问题提交给数据质量管理子系统。

数据质量管理子系统运维人员核查后，发现是因为某天系统宕机，没有在该指标中统计当天的数据，造成错误。

月底，数据质量管理子系统运维人员统计分析本月所有的满意度反馈，发现有3个反馈

22

QB-Y-XXX-2014

是与月数据和日数据加总之间的平衡性有关，认为该问题比较重要，在相关指标上增加了对平衡性的稽查。

图5-9数据质量满意度应用场景

5.2.3. 新数据源质量稽核 5.2.3.1. 应用背景

新增的数据包括Gn/Gi口信令和流量数据、WLAN信令和流量数据、Mc/A口信令数据、WAP日志数据等网络数据和财务数据，这些新数据源的接入给经营分析系统的数据质量带来更大的挑战。尤其是网络侧数据，与经营分析系统现有数据相比，具有数据量大、数据内容长、互联网相关信息丰富、数据质量较差等新特点，因此必须加强新数据源的数据质量稽核。

5.2.3.2. 目标与方案

? 建设目标：

将新接入经营分析系统的网络数据、财务数据纳入数据质量管理的范围，采用共同管理数据源稽核规则的新机制，增强往期内容检查模块功能，增加针对新数据源的质量稽核规则。通过进行数据稽核，保障新数据源的数据质量，发现数据源头的质量问题，规避后续影响。

? 建设方案：

23

QB-Y-XXX-2014

对新引入的数据源，需建立起新数据源质量稽核体系，主要包括以下内容：

? 数据质量的常规检查。复用前期建设的数据质量稽核模块，根据新数据源数据

的特点，对检查方法和检查内容进行补充和调整；

? 新的数据稽核方法引入。一方面，由于新数据源数据送到经营分析系统前采用

了很多新技术，需要采用新的方法衡量新数据源的数据质量。“数据比对”稽核方法就是将BOSS、VGOP等数据作为基础，与新数据源数据进行抽样比对，实现对新数据源数据的稽核；另一方面，面对大量的新数据源数据，借鉴产品质量检验的方法，对数据进行抽检，以提高效率；

? 公共规则库的建设与管理。由数据提供者和数据使用者双方建立共同认可的公

共判定规则库，实现数据源质量稽核，形成数据源质量管理的新机制； ? 新数据源质量问题报告与处理。新数据源的数据引入，涉及到与新数据源系统

的交互，建立定期的通报机制、问题处理机制与流程管理，促进新数据源质量的不断提高。

5.2.3.3. 应用场景

经营分析系统运维人员或源系统管理员发起对DPI相关数据的数据质量稽核规则的申请，经过经分侧和网络侧相关人员的审核，发布成为双方公共调用的DPI数据质量稽核规则。公共规则发布过程示意如图5-10所示。

新数据源系统运维人员经分规则申请系统运维人员参与审核共同审核参与审核审核通过规则发布?文件级检查公共规则库?记录级和字段内容检查?比对检查?抽样检查

图5-10公共规则发布过程示意

主要规则包括：

? 文件级校验：文件到达时间、数据量校验（文件大小和记录条数）、文件名校验； ? 记录级和字段内容校验：字段的合法性校验（字段类型和长度、空值、数字和字符

24

QB-Y-XXX-2014

值域、URL表达式），Gn口数据记录级校验规则示意如图5-11所示；

? 比对稽核：抽取Gn信令数据中飞信业务的用户号码，与经营分析系统中飞信业务

的用户号码进行比对检查。

? 抽样方法：抽取每日11点-12点，或者每月15日的数据进行上述检查。

属性编码12345678属性名称DEAL_TIMEIMEIMSISDNUSER_AGENTCELL_IDLAC_IDURLUPLINKTRAFFIC属性描述访问时间终端类型用户手机号码UA小区编码LAC区编码URL上行流量类型DATETIMEVARCHAR2(255)VARCHAR2(24)VARCHAR2(255)CHAR(10)CHAR(10)VARCHAR2(255)NUMBER(10)是是是是是是否关键字段是备注?URL表达式不合法本周期上行流量字节数本周期下行流量字节数值为80的时候代表URL910DOWNLINKTRAFFICBEARPROTOCOL_TYPE下行流量应用协议类型NUMBER(10)CHAR(2)?字段类型不合法?字段长度不合法?空值?数字值域违法?字符值域违法 图5-11Gn口数据记录级校验规则示意

系统自动运行核查规则，经分侧和网络侧根据情况共同设置告警阈值，例如设置DPI解析Gn口数据用户手机号码空值率不超过30%。数据质量稽核出现告警，则生成问题报告和明细数据，触发处理流程。 5.2.4. 关键维度一致性监控 5.2.4.1. 应用背景

目前经营分析系统的数据来源于BOSS、CRM等系统，源系统的关键维度发生变化时，

通常无法及时通知经营分析系统，导致数据汇总处理过程失败，造成指标出数过程延误或者指标数据不准确等问题。

通过建设关键维度变更监控应用，及时发现因维度变化影响的指标，及时预防因维度变更造成的数据质量异常。通过设置维度变更影响的指标，提醒业务人员关注维度变化对指标数据的影响。 5.2.4.2. 目标与方案

由被动发现接口维度变化，向主动发现维度变化转变，及时通知相关人员处理，从维度

25

QB-Y-XXX-2014

变更的源头发现问题，提前知晓并避免因维度变化导致的问题蔓延。通过维度与指标关系分析和设置，及时通知指标使用者注意维度变化导致的指标数据变化。

? 关键维度影响设置

分析维度信息与指标的关联关系。基于元数据血统图或影响图分析维度影响的指标，根据分析的结果结合管理员的经验，设置维度与指标的关联关系。 ? 关键维度变更监控

监控数据源接口维度表内容，将维度信息与历史记录进行对比，如果维度信息出现变化，及时通知相关人员处理：

? 通知源系统相关管理员，核对接口的维度变更情况：

? 如果维度变更信息错误，更正维度信息并重传维度信息； ? 如果维度变更属于正常需求，及时联系经营分析系统管理员处理； ? 通知经营分析系统相关管理员，告知维表的变更信息。管理员评估维度变更对

经营分析系统的影响，依据源系统的变更反馈信息做相应处理。

? 关键指标出数维度的检查

监控维度变更情况，如果维度信息变更，根据其与指标的关联关系，实时或者定时通知相关人员处理：

? 通知经营分析系统数据质量管理员，评估维度信息变更对指标数据的影响，及

时进行相关处理；

? 通知指标相关用户（指标提出人、指标负责人等），注意维度变更可能会影响

的指标信息。

5.2.4.3. 应用场景

某日BOSS系统的TD信息发生了变化，添加了“HTC ONE终端”，但该终端维表的变

化没有及时通知经营分析系统。经营分析系统通过BOSS接口获取到TD终端维度信息入库，关键维度变更监控功能自动与历史维度比对，发现了TD终端维度信息的变化，生成维度变化告警。通过短信或者邮件通知BOSS源系统管理员，确认维度的变化是否属于正常业务变化。同时通知经营分析系统管理员TD终端维度信息发生变化，经营分析系统管理员与源系统管理员联系确认维度变化是否正常，检查TD终端信息数据获取、数据汇总过程，避免因维度变化引起的数据汇总错误，影响终端收入类指标的数据缺失。业务人员查看指标报表时，获得维度的变化对指标的影响信息。关键维度一致性监控应用场景如图5-12所示。

26

QB-Y-XXX-2014

图5-12关键维度一致性监控应用场景

5.2.5. 数据质量计分卡 5.2.5.1. 应用背景

通过设定应用层、汇总层和接口层等各层及数据质量各属性的权重，构建量化评估体系，

分析历史的数据质量告警和问题处理结果，根据权重计算出各层数据质量的分数，量化展现经营分析系统各层次数据质量情况以发现薄弱环节，将薄弱环节质量提升作为质量管理工作的重点，提高数据质量宏观管控能力和管理效率。 5.2.5.2. 目标与方案

? 建设目标：

结合经营分析系统数据质量管理子系统的事前和事中监控，加强数据质量告警事后评估，通过计分卡机制，量化体现经营分析系统数据质量的整体情况，提供告警问题处理率等分析，找出经营分析系统数据质量的薄弱环节，使得数据质量管理工作有的放矢，提升经营分析系统质量管控能力，形成闭环的数据质量管理流程。

? 建设方案：

通过设置数据源接口层、ETL作业层、汇总层和其他各层权重和数据质量属性权重，构建数据质量量化评分体系，形成数据质量的量化标准。通过定期评分和分层分级展示，找出关键的数据质量问题并重点解决，强化数据质量提升的效果。通过数据质量问题处理率等分析功能，分析告警的处理情况，考核和监督数据质量管理员的工作成效，提升运维效果。 5.2.5.3. 应用场景

某省数据质量管理员每月运行评分功能，对经营分析系统数据质量进行量化评分，得出

27

QB-Y-XXX-2014

数据质量整体得分为80分，发现其中ETL作业层分数为60分，是经营分析系统数据质量的薄弱环节。作为参考，管理层决定将ETL作业层质量的提升作为下一阶段重点工作。并通知ETL作业层管理员制定提升工作计划并执行。

经过ETL作业工作整改，再次运行数据质量计分卡功能，对经营分析系统数据质量进行量化评分，得出数据质量整体得分为85分，其中ETL作业层分数提高到70分，显著的看到质量提升的效果。并发现新的薄弱环节作为下一阶段的重点工作，有针对性的逐步提升经营分析系统数据质量，形成数据质量闭环的管理流程。数据质量计分卡应用场景如图5-13所示。

从经分系统各层设置监控点监控并进行处理按照层次和质量属性设置评分权重得到系统的计分卡和分析 图5-13数据质量计分卡应用场景

5.2.6. 数据质量图形化运维

本节介绍基于图形化的指标平衡监控、强关联指标监控、指标全景监控和指标出数实时运行情况监控，改变以往数据质量管理菜单化、表格化的操作方式，提高系统易用性，提升数据质量管理水平。 5.2.6.1. 应用背景

当前KPI指标监控主要有五个地方使用不便： 1) 监控配置易用性差

经营分析系统运维人员需要在元数据列表中找到KPI指标，并参考元数据血统图，找到其他关联节点，进行规则配置，配置过程费时费力。 2) KPI指标的出数过程没有跟踪，业务人员无法了解当前进度

KPI指标的出数过程没有自动跟踪，业务人员无法了解当前处理进度，导致业务人员需要人工向运维人员咨询，沟通繁复。 3) KPI告警结果展现偏技术化

28

QB-Y-XXX-2014

监控结果主要以数据列表方式展现，过程监控无法体现，不易理解。 4) 缺少对存在运算关系的KPI指标间的核对机制

KPI指标间存在运算关系，系统没有从业务角度管理指标间的运算关系，KPI出数时没有核查运算关系，指标关系检查效果差。 5) 强关联指标间缺乏关联监控

指标之间存在关联关系，尤其是有运算关系的指标有强关联关系，一旦其中某一指标发生波动，就有可能产生放大效应影响其他指标造成告警，而目前主要是关注告警指标本身的波动，其相关联的指标却被忽略了。 5.2.6.2. 目标与方案

? 建设目标

基于元数据血统图和出数路线图，实现图形化的指标监控配置、出数过程跟踪及告警展现分析，提供图形化运维管理，帮助运维人员快速完成指标过程监控和问题处理过程，协助业务人员动态了解指标出数进度，提高工作效率，节省成本。

基于元数据指标运算关系图，实现图形化的指标运算核查、监控配置及告警展示分析，提供图形化的指标运算关系管理，自动进行交叉检验和关联告警，帮助运维人员快速完成平衡问题核查与判断，协助业务人员对关注的关联指标进行告警。 ? 建设方案

建设数据质量图形化运维功能，包括元数据图形接口、监控设置图、指标平衡监控告警图、强关联指标告警图、指标出数实时运行图及指标全景监控图等，实现指标监控全部图形化。

5.2.6.3. 应用场景

5.2.6.3.1. 数据质量图形化运维典型场景

图形化运维包括基于元数据血统图的指标监控设置、基于指标出数过程运行图的指标出数生产过程跟踪及基于元数据血统图指标告警展示和处理三部分，应用场景如图5-14所示。

29

QB-Y-XXX-2014

指标监控设置指标出数过程跟踪节点上右键可直接进行监控配置指标告警展示及处理经分系统运维人员 图5-14指标图形化监控应用场景示意

场景说明如下：

近期某省推广了一项新数据业务套餐。业务人员想了解一下实际的市场效果，要求经营分析系统运维人员对GRPS流量和GRPS套餐收入进行监控。

经营分析系统运维人员进入数据质量管理子系统，进入图形化监控设置界面，选择GRPS流量指标，系统自动调用元数据血统信息并展现链路。经营分析系统运维人员选择一个过程节点，右键点击“监控设置”快速完成此指标一个过程点配置，然后选择其他过程点并完成过程配置过程。经营分析系统运维人员再次选择GRPS套餐收入指标并完成类似监控配置。

经营分析系统运维人员选择GRPS流量和GRPS套餐收入指标，跟踪指标出数过程，系统自动调用元数据指标出数过程图并展现相关信息。经营分析系统汇总过程结束后，经营分析系统运维人员选择GRPS流量和GRPS套餐收入指标，查看指标告警状态，系统自动展现告警全景图，动态展现指标告警状态及指标值等信息，经营分析系统运维人员或业务人员点击相关节点，查看详细信息并做进一步的处理。 5.2.6.3.2. 指标平衡监控应用场景

指标平衡监控，包括基于指标运算关系图的指标平衡监控设置、强关联指标信息跟踪及指标平衡监控告警图展示和处理三部分，示意如图5-15指标平衡监控示意所示。

60%=65% ？？飞信业务渗透率：65%/=飞信业务使用用户数：60万通信用户数：100万 30

图5-15指标平衡监控示意

QB-Y-XXX-2014

场景说明如下：

近期某省下发了KPI考核指标“飞信业务渗透率”，业务人员希望能确认相关指标的数据，以确保报表数据的严密性，要求经营分析系统运维人员将指标“飞信业务渗透率”相关的指标运算关系纳入指标数据平衡监控范围。

经营分析系统运维人员进入数据质量管理子系统，进入指标平衡监控设置界面，选择飞信相关指标，系统自动调用元数据指标运算关系信息并展现图形。经营分析系统运维人员选择核查时间频率。

经营分析系统运维人员选“飞信业务渗透率”，跟踪相关指标信息，系统自动调用元数据指标运算关系图并展现相关信息。经营分析系统汇总结束后，经营分析系统运维人员选择“飞信业务渗透率”指标，查看指标平衡告警状态，系统自动展现指标告警运算关系图，根据设置的时间频率动态展现指标告警状态及指标值等信息。经营分析系统运维人员或业务人员点击相关节点，查看详细信息并做进一步的处理。 5.2.6.3.3. 强关联指标告警应用场景

强关联指标告警，包括基于指标运算关系图的强关联指标告警设置、强关联指标信息跟踪、基于指标运算关系图波动指标告警及强关联指标告警展示和处理三部分，示意如图5-16强关联指标告警示意所示。

下降13%下降3%上升15%

图5-16强关联指标告警示意

场景说明如下：

近期某省下发了KPI考核指标“飞信业务使用用户数”，业务人员希望跟踪该指标及其强关联指标的数据波动，以确保KPI的完成，要求经营分析系统运维人员将指标“飞信业务使用用户数”及其强相关的所有指标纳入监控范围。

经营分析系统运维人员进入数据质量管理子系统，进入强关联指标告警设置界面，选择飞信相关指标，系统自动调用指标运算关系信息并展现图形。经营分析系统运维人员选择多个合适的运算关系和图形，为每个节点指标进行监控设置，并设置时间频率。同时，根据强关联指标的关键程度或业务人员的关注度，选定关注指标。

31

QB-Y-XXX-2014

经营分析系统运维人员选“飞信业务使用用户数”，跟踪相关指标信息，系统自动调用元数据指标运算关系图并展现相关信息。经营分析系统汇总结束后，如果运算关系中某一指标告警，系统自动告警关注指标。经营分析系统运维人员选择主指标“飞信业务使用用户数”，查看指标告警状态，发现“飞信业务使用用户数”出现突降。系统展现强关联指标告警图和强关联指标的告警状态及指标值等信息。运维人员点击相关节点，查看详细信息并进行分析：

? “飞信业务使用用户数”的相关上游指标“飞信业务沉默用户数”出现突增； ? 受“飞信业务使用用户数”指标突降影响，“飞信业务渗透率”也出现下降； 运维人员根据以上两点信息，判断问题原因是由“飞信业务沉默用户数”突增引起，进一步分析该指标突增的原因并做处理。 5.2.7. KPI急报快报 5.2.7.1. 应用背景

业务人员(一线员工、支撑人员、决策人员等)无法及时获取数据异常信息，问题发现滞后。目前数据质量监控都是针对报表指标的监控，当监控到问题发生时候，问题已经发生，并且造成影响。

5.2.7.2. KPI急报快报定义

? KPI急报

通过在装载、转换、汇总等数据处理阶段设置监控规则，进行数据波动的稽核，发生数据质量波动异常的，把告警信息通知到信息订阅人员,以解决问题。问题处理之后，通过相关的信息发布机制，让信息订阅人员及时知道数据已经恢复正常。没有异常的直接通过短信发布数据信息。KPI急报通常比较适合数据质量运维人员订阅，可以提前发现问题。

? KPI快报

通过增加指标监控频次，并进行数据波动对比，从而提前告警问题的发生。通过不同的方式（短信、邮件等），把告警信息通知到支撑人员,让问题尽快得到处理。问题处理之后，通过相关的信息发布机制，让业务人员、支撑人员及时知道数据已经恢复正常。没有异常的直接发布数据信息。

KPI急报快报波动稽核，建议采用同比、环比的方式进行波动的判断。也可以针对指标本身情况采用其它波动稽核方式。例如采用固定值进行对比。KPI急报快报过程如图5-17所示：

32

QB-Y-XXX-2014

时间时间点N时间点3接口接入清洗转化汇总指标出数过程时间点2急报快报图5-17 KPI急报快报示意图

时间点1

KPI急报体现在指标出数过程中，以期在出数完成前更早地发现问题；KPI快报体现在增加指标监控频次上，缩短发现问题的时间间隔。 5.2.7.3. 目标与方案

由被动发现问题，向主动发现问题，并及时发布问题，让数据质量运维透明化。对于数据质量管理子系统的建设，改变以往以技术规划作为需求，转化为以业务需要作为需求出发，进行系统建设。数据质量管理子系统将提供KPI急报快报的应用，通过这些应用来解决经营分析系统数据质量管理子系统面对的问题。

1） 通过指标急报的形式，运维人员能够订阅自己关注的指标，一旦发生数据波动或者

数据未出数，运维人员能够及时收到指标急报信息。通过急报，运维人员能够了解数据质量的当前情况，另外在问题解决之后，运维人员能够收到相应的通知。以便业务人员能够及时使用指标数据；

2） 通过指标快报的形式，经营分析系统业务人员、经营分析系统运维人员能够订阅自

己关注的相关业务指标。一旦异常波动发生，数据问题将第一时间通知到订阅指标人员手中，从而尽快查找指标异常或者波动的原因，并发布相关的处理结果信息。 整个KPI急报快报业务过程如图5-18所示：

图5-18KPI急报快报应用过程

? 指标监控订阅：主要使用对象为运维人员、业务人员，对自己关注的指标进行订阅，

33

本文来源：https://www.bwwdw.com/article/xfo.html