大数据平台方案设计 - 图文

项目技术方案

大数据平台方案设计

1.1

需求分析

1.1.1 采购范围与基本要求

建设XX高新区开发区智慧园区的人口库（12万居民）、法人库(1200家企业)、地理信息库(已建设区域35平方公里的3维电子地图、未建设区域80平方公里的航拍电子地图)、视频库(1000个摄像点)、大数据处理平台、数据管理服务平台。

1.1.2 建设内容要求

1.1.2.1

人口库

人口库的基本信息以公安部门户籍和暂住人口信息为基础，整合人社、计生、民政、教育等多个部门信息资源，建设统一规范的人口库和人口信息服务平台。

(1)人口库的内容目录

序号 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 社居民区服务信息 社区党建信息 社居民区服务信息 人员车辆信息 人口基本信息 信息目录(一级) 信息目录（二级） 人员信息（常驻） 人员信息（暂住） 户籍成员信息 死亡信息 驾驶人员信息 机动车信息 电动车信息 房主信息 房屋变动信息 党员信息 培养党员信息 党员流入信息 党员流出信息 准生证信息 婚前检查信息 孕前检查信息 婚育证信息 节育手术信息 计生处罚信息 1

社会发展局 组织人社局、 村（居）委会 房管局、村（居）委会 公安局（交警系统） 公安局 可能的信息源单位 序号 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 信息目录(一级) 信息目录（二级） 社区卫生服务机构信息 可能的信息源单位 卫生信息 医疗机构信息 医疗资源信息 卫生许可信息 社会组织信息 社会发展局 民政信息 区域地名信息 最低保障收入人员信息 精准扶贫对象信息 社会发展局 村居管理委员会 社保基本信息 单位信息 参保人员信息 退休待遇信息 转移人员信息 失业登记和失业保险信息 城镇职工基本医疗保险账户信息 组织人社局 养老保险信息 失业信息 医疗信息 门慢信息 定点医疗机构和定点零售药店信息 伤残认定信息 工伤信息 劳动能力鉴定信息 工伤待遇信息 (2)人口信息服务平台功能需求

数据库层：能够安全存储人口库的内容目录中列出的信息内容，对居民、企业、政府提供安全的人口信息服务，为人口大数据分析提供基本数据源。

应用支撑层：包括门户框架、数据库维护、报表组件、数据挖掘等，用于为应用层提供应用支撑。数据挖掘提供常见的数据分析/挖掘工具、通用算法，利用大数据平台的计算能力进行分析，对人口库数据进行数据挖掘与发现，提供有价值的分析结果。

应用层：包括人口信息服务、人口专题分析、公共服务等。 1.1.2.2

法人库

法人库以工商部门的企业信息为基础，整合各参建部门系统中的法人信息，如机构代码、机构名称、机构类型、经济行业、业务经营范围、机构地址、法定代表人等字段信息，建成标识统一、结构科学、查询快捷、动态管理的法人信息库。制定与交换平台对应的相关标准、制度和规范管理体系，实现工商局、地税局、国税

2

局、质量技术监督局等法人数据相关业务部门之间的网络互联和业务数据的实时交换与应用。

(1)法人库的内容目录

序号 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 企业经营信息 税务信息 工商注册信息 企业基本信息 信息目录(一级) 信息目录（二级） 股东(投资者)信息 法人信息 地址与联系信息 工商登记信息 工商变更信息 工商注销信息 工商吊销信息 税务登记信息 税务注销信息 税务登记验换证信息 企业发票信息 组织架构 发展战略 品牌 产品与服务信息 人力资源信息 高端技术和设备 财务报表 资质信息 信用信息 荣誉信息 文化 违规处罚等不良信息 企业 税务局 工商质监局 工商质监局，企业 可能的信息源单位 (2)法人信息服务平台功能需求

数据库层：能够安全存储法人库的内容目录中列出的信息内容，对居民、企业、政府提供安全的法人信息服务，为法人大数据分析提供基本数据源。

应用支撑层：包括门户框架、数据库维护、统计与报表组件、数据挖掘等，用于为应用层提供应用支撑。数据挖掘提供常见的数据分析/挖掘工具、通用算法，利用大数据平台的计算能力进行分析，对法人库数据进行数据挖掘与发现，提供有价值的分析结果。

应用层：包括法人信息服务、法人专题分析、公共服务等。

3

1.1.2.3 地理信息库

以国土资源部空间地理数据框架作为基础，采用分布式存储并行计算的技术思路统一搭建地理信息库，再与智慧园区建设涉及的各类专题图层进行融合、关联，实现统一共享，逐渐形成XX高新区权威、丰富的地理信息数据库。要求根据不同信息资源类别，提供数据库表结构设计。

地理信息库维护文件主要提供地图基本操作、地图测量、图层控制、空间分析等信息服务功能。

地理信息库配置一套高性能GIS工具软件，基于高性能云GIS平台搭建，实现空间数据的统一管理，完成空间数据检查、转换、入库、管理、制图显示、服务发布等一系列空间数据分析处理功能。

(1)地理信息库的内容目录

序号 1 信息目录(一级) 电子地图数据 航拍电子地图：未建设区域60平方公里 2 地理实体数据 建筑、道路、水系、绿地、农田等 已建设区域30平方公里，分等级实现重点城区精细三维模型数据和其它地区简易模型数据 路灯、交通灯、屏显、导示牌、标志性行道树、线缆、地下管网等 规划用地数据 企业(项目)数据 信息目录（二级） 三维电子地图：已建设区域30平方公里 可能的信息源单位 国土资源部、中标单位测量 国土资源部、中标单位测量 中标单位测量、建设 3 三维模型数据 4 5 6 城市部件数据 规划数据 POI数据 城管等部门 规划局 规划局、办公室等 (2)地理信息库管理平台功能需求

数据处理：格式转换、坐标转换、属性编辑、数据裁切。

数据质检：矢量数据检查、栅格数据检查、三维模型数据检查、元数据检查。 入库更新：矢量数据入库、影像数据入库、三维模型数据入库、元数据入库。 数据输出：矢量数据提取、栅格数据提取。

查询浏览：地图浏览、数据加载、SQL查询、空间查询、数据对比浏览、元数据查询。

历史数据管理：历史版本数据比较、版本数据提取。 系统管理：权限管理、日志管理、备份恢复。

4

1.1.2.4 视频库

(1)视频库的内容目录

序号 1 2 信息目录(一级) 视频目录 视频 视频特征 视频文件 视频特征文件 信息目录（二级） 可能的信息源单位 视频监控系统 数字摄像装置 (2)视频库管理平台功能需求

与视频监控系统的接口、视频入库、视频目录管理、视频文件管理、视频特征文件生成、视频检索、视频异常发现等。 1.1.2.5

大数据处理平台

(1)大数据基础平台

提供基础管控、基础服务的大数据基础支撑功能。大数据基础平台要充分利用目前先进的大数据处理技术，保证系统技术的前瞻性和先进性。大数据基础平台要求提供海量数据的采集、存储、计算、接口服务能力；需要满足海量、异构的大数据的存储、共享、开放及分析挖掘方面的要求；需要采用主流的大数据的技术架构，全面满足结构化数据、半构化数据及非结构化数据的存储、处理及计算要求；提供多种数据采集工具，支持多种格式数据采集；提供接口服务，供二次开发应用等。

大数据基础平台要求能够管理大数据中心集群的物理服务器资源，控制分布式程序运行，隐藏下层故障恢复和数据冗余等细节，为大数据处理平台提供统一的管理、监控、维护等日常管理功能。主要包括：资源管理、安全管理、运维管理、集群部署及监控、任务调度等功能，同时配备友好的管理界面。

①数据采集要求

大数据处理平台数据主要来自数据资源中心，包括基础库(人口库、法人库、地理信息库、视频库)数据、主题库(业务数据库)数据和互联网数据，同时也支持其他外部系统数据来源。数据采集系统要求提供多种数据采集工具，支持多种格式数据采集。对于结构化数据、非结构化数据以及网络数据采用不同的采集工具进行数据导入。支持多种数据采集方式，比如ETL、FTP、文件导入导出、关系数据库数据等。

②分布式存储要求

平台能够根据结构化数据和非结构数据的不同特点，分别提供数据仓库和分布式列式数据库存储服务，底层支撑技术支持分布式文件系统，所有的数据可以形成

5

本文来源：https://www.bwwdw.com/article/zbot.html