大数据科研平台

地税局大数据云平台整体解决方案

地税局大数据云平台

建 设 方 案

1

地税局大数据云平台整体解决方案

目 录

第一章 现状与需求分析 ...................................................................................... 16

1.1 总体现状分析 ........................................................................................................ 16

1.1.1 信息化现状.................................................................................................... 16

1.1.1.1 基础设施建设 ...................................................................................................... 16 1.1.1.2 应用系统建

公安大数据平台建设方案

1.1 平台概述

天鉴——专注于公安业务的融合大数据分析管理平台

简述：

天鉴【Allview】是专注于在公安在业务应用中提供高效的集合数据汇聚、查询、分析、挖掘、展现、管理、安全于一体的大数据平台。平台充分利用云计算、大数据等先进的技术，构建面向公安实战的顶层信息化架构，从而实现公安工作高效规范、业务有机协同、数据动态鲜活、信息高度共享、贴近实战应用的警务工作模式。

1.2 平台功能

大数据搜索系统

公安大数据的搜索引擎，可实现万亿级针对跨部门跨区域海量警务数据的横向关联、毫秒查询、批量比对。除了支持关键字/全文检索、数据碰撞、多维度自定义检索外，还可结合基于深度学习的图像检索，实现人、车、物、案信息的无缝关联展现。

可视化分析系统

平台借鉴关系分析、BI分析等可视化特性，结合公安业务应用需求。着手人、事、地、

物、组织维度，从时间、空间、关系出发，帮助公安用户梳理挖掘数据价值。

关系图谱：实现人和人、人和案、人和物的关系描述，围绕某人不断发现相关的关系人或关系物，逐步拓展出人员的关系图谱，实现关系圈分析。

关系发现：通过基于大数据的关系建模，关联挖掘与人员相关的各类关系数据，对存在关系的目标对象打上关系标签，并以可视

公安大数据平台建设方案

1.1 平台概述

天鉴——专注于公安业务的融合大数据分析管理平台

简述：

天鉴【Allview】是专注于在公安在业务应用中提供高效的集合数据汇聚、查询、分析、挖掘、展现、管理、安全于一体的大数据平台。平台充分利用云计算、大数据等先进的技术，构建面向公安实战的顶层信息化架构，从而实现公安工作高效规范、业务有机协同、数据动态鲜活、信息高度共享、贴近实战应用的警务工作模式。

1.2 平台功能

大数据搜索系统

公安大数据的搜索引擎，可实现万亿级针对跨部门跨区域海量警务数据的横向关联、毫秒查询、批量比对。除了支持关键字/全文检索、数据碰撞、多维度自定义检索外，还可结合基于深度学习的图像检索，实现人、车、物、案信息的无缝关联展现。

可视化分析系统

平台借鉴关系分析、BI分析等可视化特性，结合公安业务应用需求。着手人、事、地、

物、组织维度，从时间、空间、关系出发，帮助公安用户梳理挖掘数据价值。

关系图谱：实现人和人、人和案、人和物的关系描述，围绕某人不断发现相关的关系人或关系物，逐步拓展出人员的关系图谱，实现关系圈分析。

关系发现：通过基于大数据的关系建模，关联挖掘与人员相关的各类关系数据，对存在关系的目标对象打上关系标签，并以可视

大数据平台数据治理方案

大数据平台数据治理方案

大数据平台数据治理方案

目 录

1 2

概述 ........................................................................................................................................... 4 面临的挑战 ............................................................................................................................... 4 2.1 2.2 2.3 2.4 2.5 2.6 2.7 3

数据采集 ............................................................................................................................... 10 数据清洗 ................................

农机局大数据云平台整体解决方案

农机局大数据云平台

建 设 方 案

1

农机局大数据云平台整体解决方案

目 录

第一章 现状与需求分析 ...................................................................................... 16

1.1 总体现状分析 ........................................................................................................ 16

1.1.1 信息化现状.................................................................................................... 16

1.1.1.1 基础设施建设 ...................................................................................................... 16 1.1.1.2 应用系统建

项目技术方案

大数据平台方案设计

1.1

需求分析

1.1.1 采购范围与基本要求

建设XX高新区开发区智慧园区的人口库（12万居民）、法人库(1200家企业)、地理信息库(已建设区域35平方公里的3维电子地图、未建设区域80平方公里的航拍电子地图)、视频库(1000个摄像点)、大数据处理平台、数据管理服务平台。

1.1.2 建设内容要求

1.1.2.1

人口库

人口库的基本信息以公安部门户籍和暂住人口信息为基础，整合人社、计生、民政、教育等多个部门信息资源，建设统一规范的人口库和人口信息服务平台。

(1)人口库的内容目录

序号 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 社居民区服务信息 社区党建信息 社居民区服务信息 人员车辆信息 人口基本信息 信息目录(一级) 信息目录（二级） 人员信息（常驻） 人员信息（暂住） 户籍成员信息 死亡信息 驾驶人员信息 机动车信息 电动车信息 房主信息 房屋变动信息 党员信息 培养党员信息 党员流入信息 党员流出信息 准生证信息 婚前检查信息 孕前检查信息 婚育证信息 节育手术信息 计生处罚信息 1

社会发展局 组织人社局、 村（居）委会 房管局、村（居

1. 环境准备

1.1. 操作系统

本次安装部署要求在操作系统为CentOS release 6.5 (Final)的版本下进行部署，所以在安装部署kerberos之前请先确保操作系统为以上版本，并且集群中各机器已做时钟同步。

本次安装部署以csdm-hadoop-04作为主kdc服务器，以csdm-hadoop-05作为从kdc服务器，以csdm-hadoop-03作为客户端。一般不建议在服务器上再安装其他应用程序，比如hadoop。但为了节省资源本次安装在这三台机器均已安装hadoop相关软件。

1.2. 创建操作用户

创建操作系统hdfs、yarn、mapred用户，并使其归属于hadoop用户组: adduserhdfs-g Hadoop adduser yarn -g Hadoop addusermapred-g Hadoop

1.3. 配置hosts文件

为各台机器修改/etc/hosts文件，将真实ip与主机名对应配置，服务端与客户端均需配置，形如：（不能存在127.0.0.1的配置，否则hadoop进行kerberos验证时将会出错）

1.4. 关闭防火墙

执行以下命令关闭防火墙：

serviceiptables stop 出

智慧规划大数据云平台建设方案

智慧规划大数据云平台

建 设 方 案

智慧规划大数据云平台建设方案

目录

第一章 项目概述 ............................................... 5

1.1项目名称 ............................................... 5 1.2 建设单位 ............................................... 5 1.3 编制依据 ............................................... 5 1.4项目背景 ............................................... 5 1.5建设周期 ............................................... 8 1.6建设意义 ............................................... 9 第二章 建设需求 .............................................. 10

2.1建设目标

1. 环境准备

1.1. 操作系统

本次安装部署要求在操作系统为CentOS release 6.5 (Final)的版本下进行部署，所以在安装部署kerberos之前请先确保操作系统为以上版本，并且集群中各机器已做时钟同步。

本次安装部署以csdm-hadoop-04作为主kdc服务器，以csdm-hadoop-05作为从kdc服务器，以csdm-hadoop-03作为客户端。一般不建议在服务器上再安装其他应用程序，比如hadoop。但为了节省资源本次安装在这三台机器均已安装hadoop相关软件。

1.2. 创建操作用户

创建操作系统hdfs、yarn、mapred用户，并使其归属于hadoop用户组: adduserhdfs-g Hadoop adduser yarn -g Hadoop addusermapred-g Hadoop

1.3. 配置hosts文件

为各台机器修改/etc/hosts文件，将真实ip与主机名对应配置，服务端与客户端均需配置，形如：（不能存在127.0.0.1的配置，否则hadoop进行kerberos验证时将会出错）

1.4. 关闭防火墙

执行以下命令关闭防火墙：

serviceiptables stop 出

智能交通大数据综合服务平台方案

1.概述

2.随着经济发展、城市化进程的加快以及城市规模不断扩大，机动车拥有量及道路交通流急剧增加，城市紧缺的土地资第一文库网源和高密度的土地利用模式，使得交通供给与交通需求之间的矛盾日益突出，交通拥堵、停车困难、环境恶化等交通问题不断加剧，影响了城市的可持续发展及人民生活水平的提高，阻碍了经济的发展。大城市也面临同样的问题，近年来机动车保有量持续快速增长，高峰交通拥堵日益加剧，交通发展面临严峻形势和新的挑战。很多城市在市区主要范围内实施“错峰限行”等交通管理措施。采取调控交通需求削减交通需求总量其原因之一是城市道路已经难以通过基础设施规划建设来改善交通。另一方面,如何利用智能交通系统(ITS)来缓解交通、提升交通效率也是可以着力的一个方向。目前各交通管理部门建立了功能相对完善的交通指挥控制中心，包括交通信号控制系统、道路交通监控系统、交通诱导显示系统、停车管理系统、交通违章处理系统等，初步实现了交通信号控制、道路监控、交通信息综合查询、有/无线指挥调度及交通诱导等基础功能。ITS的各种信息采集技术（如微波采集技术、视频采集技术、环形线圈感应式采集技术等）被广泛地运用于交通数据采集，公安交管部门不仅具备了交通基