中国移动省级NG2-BASS(v5.0)技术规范数据质量管理子系统分册

.

QB-Y-XXX-XXXX

The Technical Specification Fascicule for

Data Quality Management Subsystem of New G eneration 2 Business Analysis Support System 版本号：5.0.0

2014-X-XX实施 2014-X-XX发布

中国移动通信企业标准

中国移动省级NG2-BASS技术规范数据质量管理子系统分册

(v5.0)

中国移动通信集团公司 发布

QB-Y-XXX-2014

目

1. 2. 3. 4.

录

范围..................................................................... 1 规范性引用文件 ........................................................... 1 术语、定义和缩略语 ....................................................... 6 总体说明 ................................................................. 8 4.1. 4.2. 4.3.

概述 ............................................................. 8 建设目标 ......................................................... 9 系统架构 ......................................................... 9

5.

4.3.1. 功能架构 ..................................................... 9

4.3.2. 技术架构 .................................................... 13 业务问题 ................................................................ 14 5.1.

数据质量问题域 .................................................. 14 5.1.1.

5.1.2. 5.1.3. 5.1.4. 5.2.

信息问题域 .................................................. 15 技术问题域 .................................................. 16 流程问题域 .................................................. 17 管理问题域 .................................................. 17

应用专题 ........................................................ 18

6.

5.2.1. 开放式个人KPI监控 ......................................... 18

5.2.2. 数据质量满意度反馈 .......................................... 21 5.2.3. 新数据源质量稽核 ............................................ 23 5.2.4. 关键维度一致性监控 .......................................... 25 5.2.5. 数据质量计分卡 .............................................. 27 5.2.6. 数据质量图形化运维 .......................................... 28 5.2.7. KPI急报快报 ................................................ 32 5.2.8. 指标波动阈值预测 ............................................ 37 5.2.9. 接口数据内容检查 ............................................ 39 5.2.10. 中断式监控预警 .............................................. 44 数据质量获取层 .......................................................... 46 6.1.

数据采集范围 .................................................... 46 6.1.1.

6.1.2. 6.1.3. 6.1.4. 6.1.5. 6.2.

接口信息采集 ................................................ 47 基础编码采集 ................................................ 47 处理过程信息采集 ............................................ 47 指标信息采集 ................................................ 48 Hadoop结构化数据采集 ....................................... 48

数据采集功能 .................................................... 48

7. 数据质量存储层 .......................................................... 48 7.1.

数据质量存储内容 ................................................ 49 7.1.1.

7.1.2.

数据质量规则库 .............................................. 49 数据质量信息库 .............................................. 50

I

QB-Y-XXX-2014

7.1.3. 7.2. 8.

数据质量知识库 .............................................. 51 数据质量存储方式 ................................................ 53

数据质量功能层 .......................................................... 53 8.1.

基础功能 ........................................................ 54 8.1.1.

8.1.2. 8.1.3. 8.1.4. 8.1.5. 8.1.6. 8.1.7. 8.2.

规则配置管理 ................................................ 54 数据质量监控 ................................................ 62 数据质量问题处理 ............................................ 73 数据质量评估 ................................................ 77 数据质量报告 ................................................ 90 数据质量对外服务 ............................................ 94 数据质量两级联动 ............................................ 95

开放式个人KPI监控 ............................................ 110 8.2.1.

8.2.2. 8.2.3.

功能框架 ................................................... 110 处理流程 ................................................... 112 功能要求 ................................................... 115

8.3. 数据质量满意度反馈 ............................................. 119 8.3.1.

8.3.2. 8.3.3.

功能框架 ................................................... 119 处理流程 ................................................... 120 功能要求 ................................................... 121

8.4. 8.5.

Hadoop结构化数据稽核 .......................................... 122 新数据源质量稽核 ............................................... 123 8.5.1.

8.5.2. 8.5.3. 8.5.4.

新数据源范围 ............................................... 123 功能框架 ................................................... 124 处理流程 ................................................... 125 功能要求 ................................................... 126

8.6. 关键维度一致性监控 ............................................. 130 8.6.1.

8.6.2. 8.6.3.

功能架构 ................................................... 130 处理流程 ................................................... 131 功能要求 ................................................... 132

8.7. 数据质量计分卡 ................................................. 133 8.7.1.

8.7.2. 8.7.3.

功能架构 ................................................... 133 处理流程 ................................................... 135 功能要求 ................................................... 136

8.8. 数据质量图形化运维 ............................................. 143 8.8.1.

8.8.2.

数据质量图形化运维功能 ..................................... 144 数据质量图形化运维流程 ..................................... 148

8.9. KPI急报快报 ................................................... 154 8.9.1.

8.9.2.

业务流程 ................................................... 155 功能架构 ................................................... 156

II

QB-Y-XXX-2014

8.9.3. 8.9.4. 8.9.5. 8.9.6. 8.10.

急报快报订阅 ............................................... 157 急报快报监控实现 ........................................... 158 急报快报信息发布 ........................................... 159 急报快报问题反馈 ........................................... 160

指标波动阈值挖掘分析 ........................................... 160

挖掘分析功能 ............................................... 161 挖掘分析流程 ............................................... 163 挖掘分析模型 ............................................... 164 挖掘分析范围 ............................................... 166

8.10.1.

8.10.2. 8.10.3. 8.10.4. 8.11.

接口数据内容检查 ............................................... 168

内容检查功能 ............................................... 168

内容检查流程 ............................................... 171 内容检查方法 ............................................... 172

8.11.1.

8.11.2. 8.11.3. 8.12.

中断式监控预警 ................................................. 173

9.

8.12.1. 业务流程 ................................................... 173 8.12.2. 功能架构 ................................................... 174 8.12.3. 监控告警 ................................................... 175 8.12.4. 问题处理 ................................................... 177 8.12.5. 中断监控接口方案 ........................................... 178 8.12.6. 作业调度模块中断实现参考方案 ............................... 179 数据质量应用层 ......................................................... 180 9.1. 9.2. 9.3. 9.4. 9.5. 9.6. 9.7. 9.8. 9.9. 9.10. 9.11. 9.12. 9.13. 9.14. 9.15.

开放式个人KPI监控 ............................................ 181 数据质量满意度反馈 ............................................. 181 Hadoop结构化数据稽核 .......................................... 181 新数据源质量稽核 ............................................... 181 关键维度一致性监控 ............................................. 181 数据质量计分卡 ................................................. 182 数据质量图形化运维 ............................................. 182 数据质量两级联动管理 ........................................... 182 KPI急报快报 ................................................... 182 指标波动阈值预测 ............................................... 183 接口数据内容检查 ............................................... 183 中断式监控预警 ................................................. 183 BOSS接口数据稽核 ............................................. 184 客户信息主题评估 ............................................... 184 数据质量知识 ................................................... 185

III

QB-Y-XXX-2014

10. 数据质量运行维护管理 ................................................... 186

10.1.

数据质量管理机制 ............................................... 186

组织机构与职责 ............................................. 186

角色与职责 ................................................. 186

10.1.1.

10.1.2. 10.2.

数据质量管理流程 ............................................... 187

经营分析系统需求变更控制流程 ............................... 187

数据质量告警处理流程 ....................................... 188 数据质量问题处理流程 ....................................... 190 数据质量报告管理流程 ....................................... 191

10.2.1.

10.2.2. 10.2.3. 10.2.4. 10.3. 10.4.

管理范围 ....................................................... 192 定期报告 ....................................................... 193

10.4.1. 系统数据质量监控点报告 ..................................... 193 10.4.2. 数据质量问题处理率报告 ..................................... 193

11. 系统技术要求 ........................................................... 194

11.1. 11.2. 11.3. 11.4. 11.5. 11.6.

数据采集技术要求 ............................................... 194 数据存储要求 ................................................... 194 功能组件与对外交互要求 ......................................... 194 监控检查技术要求 ............................................... 194 控制台和对外服务接口技术要求 ................................... 195 数据质量监控其它实施要求 ....................................... 195

12. 编制历史 ............................................................... 196 附录A：中国移动省公司运营机构代码 ......................................... 204

IV

本文来源：https://www.bwwdw.com/article/0f2g.html