曙光平安城市视频监控存储解决方案v2.0-李国君

曙光平安城市视频监控存储解决方案

部门：存储方案部 作者：李国君 日期：2015.9

1

目录

1.平安城市视频监控发展概述 ................................................................................................ 1

1.1.平安城市简介 ............................................................................................................. 1 1.2.视频监控发展概述 ..................................................................................................... 1 2.平安城市存储需求分析 ........................................................................................................ 1

2.1.视频监控存储特性需求 ............................................................................................. 1 2.2.存储空间计算 ............................................................................................................. 3 2.3.传输带宽计算 ............................................................................................................. 4 3.存储系统架构分析 ................................................................................................................ 1

3.1.存储系统部署模式 ..................................................................................................... 1

3.1.1.前端存储架构 .................................................................................................. 1 3.1.2.集中存储架构 .................................................................................................. 1 3.1.3.分布式存储架构 .............................................................................................. 1 3.2.存储系统网络架构 ..................................................................................................... 2

3.2.1. DAS .................................................................................................................. 2 3.2.2. FC SAN ............................................................................................................. 3 3.2.3. IP SAN .............................................................................................................. 4 3.2.4. NAS .................................................................................................................. 6 3.3.当前问题及未来趋势 ................................................................................................. 8 4.平安城市视频监控方案设计 ................................................................................................ 1

4.1.方案设计原则 ............................................................................................................. 1

4.1.1.紧密结合用户的实际需求 .............................................................................. 1 4.1.2.保持技术上的先进性 ...................................................................................... 1 4.1.3.开放式模块化系统 .......................................................................................... 1 4.1.4.采用标准化的技术和产品 .............................................................................. 2

0

4.1.5.系统的易管理性和稳定性 .............................................................................. 3 4.2.方案说明 ..................................................................................................................... 3 4.3.存储系统配置 ............................................................................................................. 4 4.4.存储系统介绍 ............................................................................................................. 6 4.5.方案优势 ..................................................................................................................... 7 5.成功案例 ................................................................................................................................ 1

5.1.曙光公司存储介绍 ..................................................................................................... 1 5.2.平安城市视频监控典型存储案例 ............................................................................. 3

5.2.1.宜昌城市视频监控云项目 .............................................................................. 3 5.3.成功案例列表 ............................................................................................................. 7

1

1.平安城市视频监控发展概述

1.1.平安城市简介

平安城市是一个特大型、综合性非常强的管理系统，不仅需要满足治安管理、城市管理、交通管理、应急指挥等需求，而且还要兼顾灾难事故预警、安全生产监控等方面对图像监控的需求，同时还要考虑报警、门禁等配套系统的集成以及与广播系统的联动。平安城市就是通过三防系统（技防系统、物防系统、人防系统）建设城市的平安和谐。

平安城市的建设，最早在北京宣武区、山东济南、浙江杭州和江苏苏州四个城市开始做试点。2004年6月，为了全面推进科技强警战略的实施，公安部、科技部在北京、上海、廊坊、大连、南京、苏州、南通、杭州、宁波、温州、台州、芜湖、福州、青岛、淄博、威海、郑州、广州、深圳、佛山、成都等21个城市启动了第一批科技强警示范城市创建工作。2005年8月，为了以点带面，公安部进一步提出了建设“3111试点工程”，选择22个省，在省、市、县三级开展报警与监控系统建设试点工程，即每个省确定一个市，有条件的市确定一个县，有条件的县确定一个社区或街区为报警与监控系统建设的试点。此举有力地推动了平安城市的建设步伐。

本方案主要讨论以视频监控为主的存储系统方案设计。

1.2.视频监控发展概述

视频监控技术从上个世纪80年代进入我国以来，随着安防需求的急剧增加一直在飞速发展，从技术层面上来看，已经经历了多个不同的发展阶段。第一代为传统模拟闭路视频监控系统（CCTV），第二代即数字视频监控系统（DVR），到第三代完全基于IP网络视频监控系统（IPVS）。随着网络化的程度的深入，以及监控元素的多样化，视频监控已逐步向智能化程度更高的网络多媒体综合监控平台。

1

第一代视频监控主要依赖摄像机、线缆、录像机和监视器等专用设备。例如，摄像机通过专用同轴线缆输出视频信号。线缆连接到专用模拟视频设备，如视频画面分割器、矩阵、切换器、卡带式录像机(VCR)及视频监视器等。模拟CCTV存在大量局限性：

(1) 受到模拟视频缆传输长度和缆放大器限制，监控能力有限，只支持本地监控。

(2) 有限可扩展性系统通常受到视频画面分割器、矩阵和切换器输入容量限制。

(3) 录像负载重用户必须从录像机中取出或更换新录像带保存，且录像带易于丢失、被盗或无意中被擦除。

(4) 录像质量随拷贝数量增加而降低，录像质量不高是主要限制因素。 第二代“模拟-数字”监控系统(DVR)是以数字硬盘录像机DVR为核心的视频监控方案，从摄像机到DVR仍采用同轴缆输出视频信号，通过DVR同时支持录像和回放，并可支持有限IP网络访问。由于DVR产品五花八门，没有统一标准。DVR系统仍存在大量局限：

(1) 布线复杂，需要在每个摄像机上安装单独视频缆到视频服务器。 (2) 可扩展性有限，DVR典型配置一次最多只能扩展16个摄像机。 (3) 可管理性有限，需要外部服务器和管理软件来控制多个DVR或监控点。

(4) 远程控制能力有限，无法从任意客户机访问任意摄像机，而必须通过DVR间接访问。

(5) 视频服务器存储主要采用本地硬盘，存储稳定性，数据安全性难以保证。

2

第三代视频监控即完全IP视频监控系统IPVS。全IP视频监控系统与前面两种方案相比存在显著区别。该系统优势是摄像机内置Web服务器，并直接提供以太网端口。这些摄像机生成JPEG或MPEG4数据文件，可供任何经授权客户机从网络中任何位置访问、监视、记录并打印，而不是生成连续模拟视频信号形式图像。全IP视频监控系统它巨大优势是：

(1) 简便性，所有摄像机都通过以太网简单连接到网络，使您能够利用现有局域网基础设施。

(2) 强大中心控制，一台工业标准服务器和一套控制管理应用软件就可运行整个监控系统。

(3) 易于升级与全面可扩展性。摄像头、中心服务器、存储及网络带宽等均可方便扩展。

(4) 全面远程监视，任何经授权客户机都可直接访问任意摄像机。您也可通过中央服务器访问监视图像。

(5) 存储介质采用IP SAN、FC-SAN以及磁带备份存储技术永久保护监视图像不受硬盘驱动器故障影响，数据安全性更有保障。

随着IT技术的不断发展，视频监控技术已逐步由第三代向更智能化的新一代网络多媒体综合监控管理应用平台发展。网络多媒体监控系统由网络多媒体监控管理平台和前端信息采集设备组成，其核心是网络多媒体监控管理平台。网络多媒体监控管理平台集计算机网络、通信、视频处理、流媒体和自动化技术于一身，是视频、音频、数据和图像一体化的解决方案，兼备网络视频监控、视频会议、视频直播等功能，具有超大规模组网能力，是构建于LAN/Internet网络之上、支持多种传输方式的综合多媒体业务管理平台，其应用已远远超出监控本身所涵盖的内容，不再局限于简单地完成对视频信号的处理、传输、控制，其核心乃是对基于IP网络的多媒体信息（视频/音频/数据）提供一个综合、完备的管理控制平台。网络多媒体监控系统以网络为依托，以数字视频的压缩、传输、存储和播

3

放为核心，以智能实用的图像分析为特色，并与报警系统、门禁系统等整合到一个使用平台上，引发了视频监控行业的一次技术革命，迅速受到了安防行业和用户的关注。网络多媒体监控管理系统，可以广泛用于多媒体视讯调度指挥、网络视频监控和会议、多媒体网上直播、网络教学、远程医疗等各个方面。

任何应用系统稳定、高效的运行都依赖于底层强大的基础平台，随着视频监控技术的不断发展，视频监控业务模式不断开拓创新，以及应用规模的不断扩大。存储作为视频监控系统基础平台中的一个组成部分，其重要性已越来越突出。目前传统的存储方式已逐渐成为整个平台性能、稳定性以及业务扩展的制约因素。本方案将重点分析当前系统中存储架构存在的问题以及如何解决这些问题。

4

2.平安城市存储需求分析

2.1.视频监控存储特性需求

首先，视频监控系统要对学校、商场、居民楼道等各种公共场合进行监控，保证这些公共场合的安全。其次，还要对各种道路交通进行监控，提供实时路况信息和鉴别车辆违章行为等。一般情况下，视频摄像头拍摄产生的数据实时写入存储，对于特别重要的监控区域的数据还会实时传输到监控中心进行播放，使监控中心能够随时查看这些重点区域的状况，同时将这些视频数据保存为视频文件存档。另外，一些不是特别重要的数据，则直接保存为视频文件。在监控中心，存储还要应对各种业务系统对视频文件的读取回放，对图片等类型的文件进行读取。甚至是对海量的视频、音频、图像以及普通文本文件进行数据挖掘。规模越大，涉及的业务越多，反应速度要求越快，对存储系统的要求也就越高。下面我们来分析一下视频监控的数据特点以及对存储的具体需求。

视频监控系统一般具有监控点多，摄像头数量多，监控时间长，采集数据的时间往往长达几天或几十天。因此应用在视频监控系统中的存储设备在数据读写方式上具有与其它类型系统不同的特点，不同点主要表现在以下几个方面：

(1) 编码器或采集服务器以流方式写入数据，实时存储监控点的实时图像和画面，存储的文件类型为流媒体文件，因此检索服务器也会以流方式来读取已存储的视频文件。

(2) 数据读写操作的持续时间长。由于摄像头一般都是7*24 小时工作的，即使采集后视频数据采用分段保存，写入操作的持续也有可能长达2-6 个小时，后期回放时也需要相同的时间。为了保证视频采集过程中和回放过程不会发生丢帧现象，存储系统系统中有必须要有足够的带宽。

(3) 除了数据读写时间长外，由于视频采集过程中，视频文件格式一般都不会发生变化，且码率保持恒定，因此视频监控系统的读写操作还具有码率恒定，也就是带宽恒定的特点。

1

(4) 视频监控系统存储的读写方式与数据库系统存储和文件服务器存储采用的小数据块读写或文件传输读写方式有着根本的区别，因此视频监控系统不能采用数据库系统等常用的存储设备。

(5) 视频监控系统一般具有摄像头数量多，视频图像存储时间长，存储容量大的特点，因此视频监控系统存储必须支持大容量，且容量具有高扩展性，满足长时间大容量视频图像存储的需求。

(6) 对存储的容量需求弹性比较大，存储容量的多少随着画面质量的提高、画面尺寸的增大、视频线路的增加都会成倍的增加容量需求。 (7) 普通视频监控对存储的性能要求不高，但是需要能够满足长时间的连续数据读写，数据流量大但访问请求数量低。但对于规模较大的监控中心，首先视频写入的流数较多，因此对存储的并发要求较高，而且并发量大还会对聚合带宽提出较高的要求。

(8) 数据保存周期短，一般的监控场所数据保存一定时间（如1个月或者3个月）以后便可以删除。

近年来存储技术高速发展，存储设备价格不断下降，专业存储系统具备了在视频监控行业广泛应用的基础。但是在视频监控行业，是否需要应用SAN 和NAS来解决视频存储资源的共享问题，以及行业用户是否具备足够的资金和技术来应用这些技术，存在许多需要考虑的问题。

(1) 宽带的普及，带宽成本的急剧下降，为网络视频监控系统的大规模应用提供了坚实的网络基础。

(2) 摄像机数量急剧增加，海量的录像资料要求存储和共享。

(3) 仅应用DVR/NVR直接存储方式存在容量小扩展性差，数据无法集中统一管理等缺点，无法满足用户要求。

2

(4) 近年来存储技术高速发展，存储设备价格不断下降，专业存储系统具备了在视频监控行业广泛应用的基础。

(5) 专业存储系统完全满足网络视频监控大容量、安全可靠、易管理的存储需求。

(6) 并可根据用户网络视频监控规模及管理需求的特点定制出DAS/SAN/NAS/集群存储系统等不同特点的存储应用模式。

2.2.存储空间计算

规划视频监控存储系统首先需要考虑的问题就是存储系统的容量。不同画质的视频占用的硬盘空间不尽相同。计算存储容量需要考虑多方面因素，如：

(1) 摄像头数量

(2) 摄像头每天需要录像的小时数 (3) 数据的保存周期或有效时间

(4) 数据保存是长期持续记录还是根据事件触发记录

(5) 编码设备配置参数，帧率、码率、视频压缩格式、图像分辨率及质量

表列出了几种常见的几种画质单位时间所占用的硬盘空间。

各种录像画质与占用硬盘空间对比表 一般活动 复杂/剧烈活动 夜间/光线较暗 CIF画质 25-200MB/h 50-250 MB/h 25-150 MB/h Half-D1画质 60-430 MB/h 150-680 MB/h 130-380 MB/h 3

D．CIF画质 50-400 MB/h 150-680 MB/h 90-280 MB/h D1画质 110-800 MB/h 190-900 MB/h 190-500 MB/h

表2-1. 视频文件占用存储空间容量

一般工程，存储容量的计算公式：

存储容量=单位时间占用空间 * 摄像头数量 * 24小时 * 保存天数 例如：某海关监管处，共300个摄像头，使用D1分辨率保证较清晰的画质，录像数据保存三个月。假设单路D1分辨率的流量为 800MB/h。则每天的存储量则为（800*24）MB，即每路D1分辨率的视频每天产生20GB数据。那么300路摄像头，保存三个月，系统的存储容量需求则为（0.8GB/h*300*24h*90）=518TB。

目前用于安防及智能交通的摄像头数以万计，总的存储空间需求量是相当可观的。

2.3.传输带宽计算

CIF视频格式每路摄像头的码率为500Kb/s，即每路摄像头所需的数据传输带宽为500kb/s。假设辖区内有1000路摄像头，所需的数据写带宽为：

500Kb/8*1000≈62.5MB/s

因此，小范围区域内、一般画质的视频监控对存储的带宽要求不是特别高。但对于一个市、区级的监控中心，多个派出所的数据要全部汇集到这里，那么存储的带宽要求就比较可观了，而且监控中心还要经常根据需求调阅各种不同的区域的视频数据。

4

3.存储系统架构分析

3.1.存储系统部署模式

当前视频监控系统的存储架构主要有三种，即前端存储架构、集中存储架构以及分布式存储架构。

3.1.1.前端存储架构

前端存储模式指历史视频主要保存在视频监控网络的各个前端编码器上，无集中存储。前端存储架构主要适合于1）数据长期保存的需求不强烈，应用以实时视频浏览为主，2）小规模视频监控网络，安全性要求不高等场景。

3.1.2.集中存储架构

集中存储架构指视频数据实时上传到集中的数据中心统一存储。集中存储架构主要适合于以下应用场景：

(1) 大型视频监控网络，统一存储方便管理。

(2) 前端编码设备以室外部署为主，前端存储模式的存储设备可靠性不能满足需求。

(3) 视频数据有长时间高质量的连续存储需求，前端存储模式的容量不能满足要求。

(4) 对数据安全有较高要求，对于数据的访问有权限要求。

3.1.3.分布式存储架构

分布式存储架构结合了前端存储架构和集中存储架构各自的优点，同时支持前端编码器本地存储及视频数据实时上传到中心存储系统，扩展了集中存储的适用场景，适合于：

1

(1) 大型视频监控网络，前端编码器既有低带宽接入，也有高带宽接入。 (2) 前端编码设备既有室外部署，也有室内部署，部署环境复杂。 (3) 视频数据有长时间高质量的连续存储需求，同时要求支持事件触发模式存储。

(4) 对数据安全有较高要求，对于数据的访问有权限要求

3.2.存储系统网络架构

当前，在视频监控领域，底层存储架构主要有三种，即常见的DAS，NAS和SAN，其中SAN网络环境中，因采用存储设备类型的不同又可以分为FC SAN（采用光纤通道存储产品）和IP SAN（采用iSCSI存储设备）。下面针对视频监控行业对存储的需求特点，结合用户的实际应用，分析一下这三种存储架构的优缺点。

3.2.1.DAS

存储设备通过电缆（通常是SCSI接口电缆）或者光纤通道直接连接到服务器，I/O请求直接发送到存储设备。DAS依赖于服务器，其本身是硬件的堆叠，不带有任何操作系统。DAS存储架构有以下优点：

(1) 实施简单，无需专业人员操作和维护。 (2) 成本低，节省用户投资。

(3) 可通过多个磁盘合并成一个逻辑磁盘轻易实现大容量存储。 同时，DAS存储架构也存在诸多不足和局限性：

(1) 性能瓶颈。存储和服务器之间的连接通常采用SCSI连接，带宽有限，随着服务器CPU处理能力越来越强，存储硬盘空间越来越大，阵列的硬盘

2

数量越来越多，SCSI通道将会成为I/O瓶颈。另外服务器主机SCSI ID资源有限，能够建立的SCSI通道连接有限。

(2) 可扩展性差。扩展必然要业务系统停机，从而给那些7*24小时服务的关键业务系统带来损失。

(3) 资源利用率低。对于多个服务器或多台PC的环境，使用DAS方式设备的初始费用可能比较低，可是在这种连接方式下，每台PC或服务器单独拥有自己的存储磁盘，容量再分配困难；不同的应用服务器面对的存储数据量不同，同时业务发展的状况也决定着存储数据数量的变化。因此，经常会出现部分应用对应的存储空间不够用，另一些却有大量的存储空间闲置。 (4) 可管理性差。DAS方式数据分散存放，不同的应用各有一套存储设备，对于整个环境下的存储系统管理，工作繁琐而重复，没有集中管理解决方案。

(5) 总拥有成本高，由于资源利用率低，存储空间浪费严重，存储可管理性差等因素，DAS存储架构虽然最初的购买成本较低，然而最后总拥有成本却不低。

3.2.2.FC SAN

SAN（Storage Area Network），即存储区域网络。他是一种通过网络连接设备将磁盘阵列、磁带等存储设备与相关服务器连接起来的高速专用子网。所有的服务器可以通过这个网络对任意的存储介质进行读取和写入。FC SAN是基于光纤通道协议的SAN存储架构，通常以光纤为传输媒介。相比其他存储架构FC SAN有很多明显的优点：

(1) 高性能。FC SAN最大的优势在于其出色的性能。目前，8Gb/s带宽的FC SAN已经相当普及，绝大部分磁盘阵列均提供FC SAN的主机接口。

3

通过多个主机接口带宽的聚合，FC SAN架构的存储能够轻松达到很高的性能，为各种关键应用提供高质量的IO服务。

(2) 传输延时极低。极低的传输延时是FC SAN区别于其他存储架构的集中体现。极低的传输延时使FC SAN存储通常能达到较高的IOPS，特别适合于数据库应用。

(3) 扩展性强，FC SAN的扩展能力很强，1 个光纤通道最大可支持127个设备（即磁盘），而一台光纤阵列至少会有2个以上的光纤通道，有的甚至更多，这就意味着用户购买一台光纤阵列产品就可以通过连接JBOD来安装更多的磁盘。另外，FC SAN还可以方便的通过光纤交换机来扩展磁盘阵列。

当然，FC SAN也绝非完美的存储架构，他本身也有很多局限性，比如： (1) 成本较高，FC SAN的高性能带来的另外一个特点就是高成本，从光纤阵列本身到光纤磁盘再到光纤交换设备、光纤HBA卡等周边设备的成本都是最高的，而采用光纤磁盘阵列带来的管理维护成本，也将是用户一笔不小的开支。

(2) 传输距离有限，光纤的传输距离最大为10公里，如果需要更长的数据传输距离，只能增加光纤中转设备，而一般用户是无法承受如此高昂的费用的。

(3) 无法共享，FC-SAN只能被某个应用服务器独占而难以实现共享访问，除非部署网络文件系统。由于无法共享，因此规模较大时就会出现管理麻烦以及利用率低的问题。

3.2.3.IP SAN

IP SAN目前主要指采用iSCSI（Internet Small Computer System Interface），它实际上是一个互联协议，是SAN结构的一种。通过将SCSI协议封装在IP包

4

中，使得SCSI协议能够在LAN/WAN中进行传输。因此，IP SAN有诸多与众不同的特点：

(1) 虽然是通过IP传输，但iSCSI 却是基于块的存储，这有别于NAS的基于文件的存储。

(2) 基于TCP/IP，iSCSI是被封装在IP包中进行传输的，所以它具有TCP/IP的所有优点，诸如可靠传输，可路由等。

(3) 建立和管理基于IP的存储设备，主机和客户端之间的连接是建立在广泛使用的，为大家所熟悉的开放标准上的。

(4) 提供高级的IP路由，管理和安全工具。现有的绝大部分网络管理工具都可以用来管理IPSAN。

与FC SAN一样，IP SAN也属于SAN大家庭中的一员，相比FC SAN，它有着诸多FC SAN难以比拟的优点。

(1) 低成本，由于通过以太网进行传输，企业可以利用现有的以太网设施来部署iSCSI存储网络，而不需要更改企业的网络体系，所以他的部署成本比较低。由于对以太网的熟悉程度都比较高，所以人员培训和维护管理的费用也大大降低。

(2) 协议本身没有距离限制，由于使用TCP/IP进行传输，他不但可以在局域网中进行部署，也可以跨过路由设备在广域网中进行部署，大大扩展了iSCSI存储网络的部署范围。

(3) 灵活的拓扑结构：iSCSI不但可以在局域网内部署，还可以在广域网内部署，拓扑结构非常灵活。

(4) 易于使用，即使是多个厂家的设备：iSCSI结构简单，容易理解，协议通用，不同厂家的产品可以有机的结合起来共同使用，极大地保护了企业的投资。

5

(5) 易于扩展，由于iSCSI存储系统可以直接在现有的网络系统中进行组建，并不需要改变网络体系，加上运用交换机来连接存储设备，对于需要增加存储空间的企业用户来说，只需要增加存储设备就可完全满足，因此，iSCSI存储系统的可扩展性高。

IP SAN在一些轻量级的应用环境中有优势，但在一些IO密集及规模较大的数据环境中，IP SAN的劣势就会一览无遗。首先，IP SAN带宽有限。由于目前万兆以太网由于成本问题，普及程度有限，因此目前大部分IP SAN都是用千兆以太网。其次，IP SAN有FC SAN相同的缺点，即无法实现共享，并因此造成管理上的麻烦，以及较低的利用率等问题。

3.2.4.NAS

NAS（Network Attached Storage），即网络附加存储。在NAS存储结构中，存储系统不再通过I/O总线附属于某个特定的服务器或客户机，而是直接通过网络接口与网络直接相连，由用户通过网络访问。NAS将专业化的文件服务器与存储技术相结合，通过文件系统的集中化管理实现网络文件的共享访问。允许一个异构（多协议）环境中的多个客户机和其他服务器共享数据。与传统存储技术相比，NAS主要有以下优点：

(1) 易于安装。NAS设备的安装非常简单，不需要任何其他专业操作就可以很容易地集成到网络中。NAS产品是真正即插即用的产品，可以直接挂接到网络上。只需将NAS服务器连接到交换机上，分配一个IP地址即可，几分钟内就完成安装并运行。

(2) 易于部署。NAS设备的物理位置是灵活的。它们可放置在网络中心局域网内，靠近数据中心的应用服务器，也可以放在其他地点，通过物理链路与网络连接起来。用户可根据需要来确定NAS的物理位置，一般将其放置在访问频率最高的地方，以进一步缩短用户的访问时间并提高网络吞吐量。

6

(3) 方便使用和管理。客户不需要安装任何额外的软件，NAS服务器的设置、升级及管理均非常简单。

(4) 整体性能高。无需应用服务器的干预，NAS设备允许用户在网络上存取数据。这样即可减小CPU的开销，也能显著改善网络的性能。 (5) 跨平台使用。基于TCP/IP的数据传输使NAS可以支持多种网络文件系统，如NFS、CIFS、NCP和AFP等。NAS独立于操作系统平台，可以支持Windows、Unix、Mac、Linux不同操作系统平台的文件可以共享，具有文件服务器的特点。

(6) 提高数据可用性。NAS的数据可用性包括4个方面：

? ?

采用磁盘阵列技术，NAS可保证硬件设备和数据的安全与完整。 通过网络共享数据，即使相应的应用服务器不再工作了，仍然可以

读取数据。

?

NAS平台的操作系统上不允许其他应用软件，具有更高的稳定性和

可靠性。

?

网络管理员可方便地设置用户或用户组队NAS服务器的访问权限。

(7) 性能价格比优异。NAS为那些访问和共享大量文件系统数据的企业环境提供了一个高效、性能价格比优异的解决方案。NAS是精简型服务器，操作系统也是精简型系统，很多甚至是免费的Linux，因此成本方面比普通服务器便宜很多，而作为专用存储服务器的性能则更高。

(8) 发挥存储设备的效益。NAS集中管理和分配存储空间，不仅可节省大量的硬件购置费用，还充分利用硬盘的空间。

(9) 集中管理数据。通过NAS将原本分散的数据集中在同一存储装置上，即便于数据的管理和控制，又便于数据备份。

7

NAS不是包治百病的存储架构，其局限性在于：

(1) 存在单点故障问题。NAS存储对外提供共享服务都要通过NAS机头，一旦机头出现故障则整个存储系统就会出现崩溃。存储系统的可靠完全依赖于单个NAS机头。

(2) 扩展能力有限。受限于NAS机头，普通NAS的存储容量、性能的扩展只能采用Scale-up的方式，性能扩展尤其受限于NAS机头的网络接口速度和数量，系统扩展性有限。

(3) 只提供文件级的数据访问。NAS访问需要经过文件系统格式转换，所以只能以文件一级来访问。不适合Block级的应用，尤其是要求使用裸设备的数据库系统。

3.3.当前问题及未来趋势

当前，视频监控存储系统架构主要采用分布式存储架构，结合前端存储和集中存储架构的优点分层管理。对于一般性的监控可将数据就近保存在编码器本地存储，对于重要数据根据重要级别实时上传到不同级别的中心存储。

底层存储架构选择上，视频编码器存储一般采用DAS架构的本地存储，中心存储主要采用IP SAN作为底层存储架构。从前面的介绍我们知道，IP SAN有成本低廉、协议本身没有距离限制、拓扑结构灵活、易于使用、易于扩展等特点。

在视频监控的发展过程中IP SAN起到了非常重要的作用。但随着视频监控的不断发展IP SAN的局限性也逐渐凸显。

首先，由于目前万兆以太网由于成本及其他方面的问题，万兆iSCSI普及程度有限，目前大部分IP SAN主要仍然是千兆以太网。而支持万兆iSCSI的存储价格又令用户敬而远之。IP SAN的性能局限性和视频监控密度越来越高、范围越来越广的发展形势形成了尖锐的矛盾。

8

其次，随着视频监控网络化的深入，传统的本地录像功能可以转移到远程服务器上来实现，使得海量数据存储成为可能。中心存储的数据量增长迅猛，数据类型越来越丰富。为应对新形势下的社会问题，新的安防技术层层出不穷，要求存储系统具备更强的存储、检索和备份等功能。而这已超出了IP SAN的承载能力。

IP SAN和FC SAN一样无法实现直接共享，应用服务器都是独享存储上的LUN的，因此空间利用率较低。

IP SAN管理非常麻烦。一般IP SAN存储容量不大，当系统规模比较大时，就需要多套IP SAN存储，难以实现统一管理。如果使用不同厂商的存储设备维护难度还会更大。

IP SAN存储架构中，首先要给磁盘阵列划分LUN，然后将这些LUN分别映射给不同的应用服务器，如果没有专门的iSCSI HBA卡，应用服务器接收数据时，要将iSCSI协议转化为SCSI协议，发送数据时有需要将SCSI协议封装成iSCSI协议，这些过程都要消耗较多的应用服务器资源。

IP SAN存储的数据安全主要依赖于后端的磁盘阵列，一旦磁盘阵列出现故障，比如RAID5一块盘损坏后没有及时发现，在数据重建时存储访问压力较大，结果又导致了另一个磁盘的损坏，这样就会出现数据的丢失。如果某些可被作为证据的视频文件存放在这些存储上，那么损失将是巨大的。

IP SAN存储扩容时需要应用服务器操作系统卷管理层及文件系统的参与，要做到不影响在线业务操作起来非常困难。

IP SAN存储由于各种各样的局限性，已难以适应新的视频监控规模和新的业务需求，在视频监控领域IP SAN被取代已逐步从中心存储开始，视频监控领域存储今后将是云存储的天下。

集群存储是指：由若干个“通用存储设备”组成的用于存储的集群，组成集群存储的每个存储系统的性能和容量均可通过“集群”的方式得以叠加和扩展。

9

传统的存储系统由于受到其物理组成（例如:控制器性能，总线性能，磁盘驱动器的数量，所连接服务器的数量，内存大小，NAS头的性能等）的限制，以及功能上的局限（例如:支持文件系统的容量，元数据和数据处理通路的耦合，快照或复制的数量等），造成了存储系统瓶颈的出现。一旦遇到存储系统的瓶颈，就会有两种选择：一是：采用硬件更加强大的单个存储系统；二是：采用若干个普通性能的存储系统来组成“存储的集群”。“集群”作为一项已被广泛使用的体系结构，如果采用到存储上组成“集群存储”，就可提供按比例增加的存储资源的性能、容量、可靠性及可用性，突破了单机设备的种种限制。目前由于大部分集群存储都有宽带接入、资源池化弹性变化、按需自助服务、可计量的服务等特点，因而又被称为云存储。

（1） 开放式架构（高扩展性）

它针对集群存储内部构成元素而言。一般集群存储应该包括存储节点、前端网络、后端网络等三个构成元素，每个元素都可以非常容易地采用业界最新技术而不用改变集群存储的架构，且扩展起来非常方便，像搭积木一样进行存储的扩展。特别是对于那些对数据增长趋势较难预测的用户，可以先购买一部分存储，当有需求的时候，随时添加，而不会影响现有存储的使用。

（2） 分布式文件系统

这是集群存储的灵魂所在。所有对集群存储的操作都经由分布式文件系统统一调度和分发，分散到集群存储各个存储节点上完成。使用分布式操作系统带来的好处是各节点之间没有任何区别，没有主次、功能上的区别，所有存储节点功能完全一致，这样才能真正做到性能最优。

（3） 统一命名空间

统一命名空间在很多厂家的存储概念中都出现过。在集群存储中，统一命名空间强调的是同一个文件系统下的统一命名空间。它同样可以支持上PB级别的存储空间。如果是通过将若干有空间上限的卷挂载到某一个根目录的方式来达到

10

统一命名空间，其效率和出现存储热点时的性能将会大大低于把上PB级别的存储空间置于同一个文件系统下管理的统一命名空间。

（4） 易管理性

目前存储业界的管理方式都是通过各厂商的管理工具，或通过Web界面进行管理和配置，往往客户端还需要安装相关软件才能访问到存储上的空间。随着需要管理的存储空间逐渐增大，管理存储的复杂度和管理人员的数量也将会随之增加。而集群存储应该提供一种集中的、简便易用的管理方式，对客户端没有任何影响，采用业界标准的访问协议（比如NFS，CIFS）访问集群存储。

（5） 负载均衡

集群存储通过分布式操作系统的作用，会在前端和后端都实现负载均衡。前端访问集群存储的操作，通过几种负载均衡策略，将访问分散到集群存储的各个存储节点上。后端访问数据，通过开放式的架构和后端网络，数据会分布在所有节点上进行存放和读取。

（6） 高性能

关于高性能领域，目前对集群存储的讨论还仅局限在高带宽、高并发访问的应用模式下。毫无疑问，集群存储对于该类应用可以提供比传统存储架构更优的性能。但目前应用除了高带宽、高并发访问类的之外，还有高IOPS、随机访问、小文件访问以及备份归档等其他类的应用，集群存储应该在以上领域同样提供高性能的解决方案。

11

4.平安城市视频监控方案设计

在进行视频监控的存储系统设计时，首先要对系统中摄像头数量、采集视频的格式和码率、视频服务器的数量等参数进行统计和分析，计算出系统中存储的总带宽压力和存储容量要求，设计存储系统的网络架构，然后再根据可选用的存储设备型号及价格成本，最终选定存储设备的型号。

4.1.方案设计原则

4.1.1.紧密结合用户的实际需求

存储区域网建设是视频监控数据存储系统的基础，它直接地影响到视频监控数据的安全性，可用性，因此只有紧密结合实际需求才能设计出一套切实可行而又行之有效技术的方案，我们对监控行业的需求做了认真的分析研究，并且将用户地具体需求一步一步地细化，然后结合其他地区存储区域网以往网络集成的经验，从而制定了本方案。

4.1.2.保持技术上的先进性

存储区域网络建成后的不仅要能够满足目前的应用需求，而且还要能够为将来的存储区域网发展打下良好的基础，这就要求在技术方案必须保持具备相当的先进性，从而保障网络建成后在相当一段时间之内不会落伍，不会被淘汰，因此本方案中采用先进的体系结构、软硬件技术设备，使系统在未来保持尽可能长的生命周期，即达到提高信息化水平、实现先进管理思想的目标，又保护对新系统的投资。

4.1.3.开放式模块化系统

模块化的系统结构方便用户的升级管理，开放式的系统有利于和其他系统的互联实现资源的有效共享。具体针对用户存储系统的特殊性和数据的重要性，以

1

及长时间的数据存储和随时地查询调用等读写数据的要求，整个监控视频数据存储系统必须具备以下特点：

（1） 高可用性

能应对大量数据传输、交换，长时间的不间断的数据读写，重要数据的存储和妥善保存，确保数据的安全性。

（2） 高性能（负载均衡和并行处理）

对网络数据读写的实时性和网络调用数据提高响应的速率。 （3） 高灵活性

必须满足用户系统增减容量的需求，及根据服务器应用的灵活配置，保证存储系统的扩展性。

（4） 高性价比

必须考虑一次性软硬件成本的投入，及最终用户在系统维护方面技术和资源的投入，同时必须充分考虑到投资的时效性。

4.1.4.采用标准化的技术和产品

在方案设计中，所有硬件、软件和网络产品必须坚持标准化原则，遵从国际化组织所制定的各种国际标准及各种工业标准，从而使系统实现具有如下特点：

（1） 可移植性

系统中所开发的各种应用软件具有良好的可移植性。 （2） 可扩展性

主机、存储设备、网络、应用系统均要有良好的扩展能力。 （3） 互联性

2

构建网络灵活，支持各种网络结构以及多种通信媒体，实现跨平台、跨应用的各种设备和网络的互联。

（4） 兼容性

随着时间的推移，监控系统还有可能面临升级或增加设备，这就使得在不同时期建立起来的网络信息系统大多都采用的是不同品牌不同技术性能的产品，因此，存储产品的兼容性显得更加的重要，必须要与市面上的主流产品相兼容。

4.1.5.系统的易管理性和稳定性

任何一个网络的建设都需要考虑到应当方便用户的管理，另外所建成的网络系统需要是一个稳定性好、可靠性高的系统，监控系统的稳定性更是重中之重，一旦系统或是重要数据产生任何的严重错误，将造成不可估量的损失和后果。

4.2.方案说明

对于接入数量庞大的城市视频监控，为减少派出所到区县分局的视频传输压力，保障派出所一线实战单位的应用，系统采用分布式设计，支持多种存储设备共存，同时县分局和上级市局指挥中心采用集中存储设备备份重点监控图像。

如图所示，视频监控存储总体架构采用分布式架构。在前端一般性的视频数据直接保存在编码器本地存储，而重要数据则汇聚到集中监控中心，监控中心存储采用集群存储架构，实现视频监控数据的存储和管理，以及其他各种面向非结构化数据的业务。该方案中，集群存储（云存储）系统采用曙光Parastor200云存储系统。

3

图4-1. 视频监控总体架构图

其中NVR监控系统的300个摄像头分为6组，每组50路，每组摄像头通过以太网连接到1台NVR设备，NVR负责把数据压缩并写入到视频流存储系统中去，这类视频数据有一部分需要永久保存，这类数据通过视频存储转发服务器转存到归档视频存储系统。

曙光Parastor200集群存储系统，汇集了曙光公司在集群技术和非结构化数据处理方面多年的经验，从架构上彻底突破了传统存储系统的瓶颈问题，是一款跨平台的具有高性能、高可靠性、使用维护简单、性能和容量可线性扩展的高端存储系统！其中视频流存储系统配置480TB存储空间，IO性能不少于2000MB/s；为6个NVR分别提供不少于80TB的存储空间以及350MB/s的带宽，满足50个摄像头同时录入数据的带宽和容量要求。归档存储系统配置192TB的存储空间，IO性能不少于800MB/s。

4.3.存储系统配置

4

序号 产品说明 配置描述 云存储系统，带宽最高可达几百GB/s，存储容量最高可达EB级，支持SAS、SATA和SSD磁盘作为存储介质，可选千兆以太网、万兆以太网和40/56Gb IB云存储系1 统 ParaStor200并行存储系统包含管理控制器、索引控制器、数据控制器三类，可根据容量需求和应用特点进行相应配置。 高性能64位处理器，16GB Cache，2个管理网络接口，PCI-E千兆双口RJ45网卡*1，PCI-E双口10Gb多模光纤网卡*1，1+1冗余电源,内嵌曙光并行存储管理控制2 器 管理、性能优化、监控告警等功能模块，实现存储系统的集中化部署、管理、监控和维护，提供命令行支持。 高性能64位处理器，64GB Cache，2个管理网络接口，Raid6模式保护的480GB高速Flash元数据存根据储空间（240 SSD×4+300GB 10krpm SAS×2），1+1存储索引控制3 器 口10Gb多模光纤网卡*1。内嵌高性能数据索引引大小擎，管理客户端的并行访问，实现全局统一命名空而定 间，支持索引控制器以Active-Active方式运行，满足高IOPS，高带宽等各类应用需求。 冗余电源，PCI-E千兆双口RJ45网卡*1，PCI-E双2 系统管理软件，中文图形界面，包含系统配置、客户端 控制器复用 可与索引网络接口。 1 数量 备注 5

高性能64位处理器，32GB Cache，2个管理网络接口，提供144TB的存储容量(3.5” 7.2krpm 4TB SATA×36)，PCI-E双口10Gb多模光纤网卡*1。1+1冗余数据控制4 器 有客户端的数据访问请求，内嵌高性能数据恢复引擎，支持节点间replication（多副本）/N+M（纠删码）数据冗余方式。 可达144TB 电源。内嵌高性能数据存取引擎，用于并行处理所6 节点每个存储网络交换5 机 管理网络：千兆交换机；数据网络：万兆交换机 2 4.4.存储系统介绍

ParaStor200系统包含四类组件：管理控制器MGR、索引控制器oPara、数据控制器oStor和客户端驱动oApp，其中客户端驱动oApp为可选组件。

? 管理控制器MGR：两台管理控制器以Active-Standby方式运行，提供统

一的控制管理界面，管理员通过该节点管理整个存储系统；

? 索引控制器oPara：用于管理存储系统的所有索引数据和命名空间，对

外提供单一的全局映像，每对索引控制器以Active-Active方式运行；

? 数据控制器oStor：用于提供数据存储空间，并实现文件的并行存取，

支持副本和N+M纠删码；同时对外提供NFS、CIFS、FTP等标准访问接口；

? 客户端驱动oApp：安装在应用服务器上的客户端驱动，向上层应用提供

POSIX访问接口，当POSIX私有接口访问方式时才需要在客户机器上进行安装；

系统架构如下图所示：

6

图4-2. 存储系统架构图

ParaStor200系统采用集群分离架构，根据业务特点和规模大小，可选择使用独立的管理集群、元数据集群、数据集群，以提升业务和运维体验。对于冷热点区分度较大的系统，ParaStor200支持高性能配置节点和高容量配置节点混合部署，在线进行冷热数据迁移，在不影响业务性能的前提下，最大程度上优化存储成本。

4.5.方案优势

本方案采用了视频监控领域先进的高清、NVR以及集中共享存储等先进技术，部署简单，管理方便。其中集中存储系统采用了曙光最先进的Parastor200集群存储系统，该系统采用集群存储体系架构，在全局实现数据均衡分布和并发响应，克服了传统DAS、SAN、NAS效率低下的缺陷，突破了RAID保护模式下只能允许一块或者两块硬盘失效的局限，即使多块磁盘甚至整台数据控制器失效，仍能保证数据的完整，并且无需关闭系统进行磁盘更换。在系统扩容的时候，免去了数据重建以及停机的窘境。同时，ParaStor200并行存储系统提供一种集中的、简便易用的管理方式，真正实现大容量，低成本，高性能。

7

ParaStor200已经在高性能计算、视频监控、广电媒体、金融等众多领域得到广泛应用，包括国家超级计算深圳中心（裸容量16PB）这样的上千节点以上规模系统的使用检验。

图4-3. ParaStor200在国家超级计算深圳中心的使用证明

曙光ParaStor200分布式存储系统的特性如下： （1） 集群架构

ParaStor200采用元数据和数据分离的非对称式结构，这也是国际主流的并行存储系统架构，元数据和数据分离有助于提升存储系统的性能和扩展性。

ParaStor200的多台索引控制（默认配置2台）采用多活冗余集群结构元数据存储采用RAID6保护的SSD高速磁盘以提高元数据访问性能。Lustre等并行文件系统的元数据IO节点也支持冗余配置，但只支持一主一备的热备模式，正常工作时只有主节点响应并行文件系统元数据请求，另一台完全闲置，无论主节点负载多高备节点都无法帮助分担；当主节点故障时，元数据服务切换到备节点，切换时间通常达到5-10分钟，切换期间文件系统服务停止，会造成计算节点上正在运行的程序报错退出。而曙光ParaStor200采用更高级的元数据冗余策略。

8

ParaStor200的元数据控制器默认配置2台，同时支持更多的元数据控制器组成元数据集群，每台元数据控制器均为Active在线状态，正常工作时负载均衡并行文件系统客户端的元数据访问请求，一台元数据控制器出现故障时，其它元数据控制器分担其工作负载，接管时间非常短，且为在线切换，不中断正在进行的IO请求，不影响并行文件系统的业务运行。

除了元数据多活冗余，ParaStor200的数据传输网络也支持多活冗余，多套数据网络支持故障切换和负载均衡。

（2） 数据安全

本方案配置的ParaStor200存储系统采用N+M:B纠删码数据保护技术（可以理解成跨设备节点的RAID校验技术），既能实现数据的高可用保护，又能提高存储系统的利用率。N+M:B，N代表数据对象个数或数据分布磁盘数量；M代表校验对象个数或容忍故障的磁盘数量；B代表容忍故障的节点数量。

图4-4. 曙光ParaStor200的N+M纠删码数据保护示意

如图4-4所示，采用8+2:1的保护策略，即8个数据对象匹配2个校验对象，这10个对象根据哈希算法分布在不同数据控制的不同硬盘上，这10块硬盘为一组，可以容忍2块硬盘同时失效而不至于数据丢失；整套存储系统可以容忍1

9

台数据控制器失效而不至于数据丢失。在这种配置下，存储系统空间利用率可达到80%。

与传统磁盘阵列RAID保护技术相比，曙光ParaStor200的N+M纠删码技术具有明显优势。ParaStor200可以实现数据重建无人值守，比如深夜磁盘出现故障，传统RAID要立即人工更换磁盘，而ParaStor200只要有剩余空间就可以自动进行数据重建；ParaStor200的数据重建并发进行，1TB数据半小时内重建完成，而传统RAID的重建时间可能长达10小时到1天以上，而且RAID在数据重建期间磁盘负载很重，很容易出现雪崩效应，即继续出现磁盘损耗，导致RAID降级甚至数据丢失。

本方案采用的8+2:1保护策略，存储系统可以容忍2块硬盘同时失效。实际上2块硬盘“同时”失效的概率非常低，因为当ParaStor200的1块硬盘失效后，系统会在很短时间内在其它硬盘上自动完成数据重建，重建完成后，ParaStor200又可以容忍2块硬盘同时失效。数据修复过程完全无人值守。用户只用定期更换故障硬盘即可，更换新硬盘后，ParaStor会自动进行底层数据迁移，平衡容量。

（3） 分级存储

本方案配置的ParaStor200存储系统还提供自动透明的分级存储功能，采用SSD和SATA磁盘相结合，既能保障存储系统容量，又能提高存储系统访问性能，具有极高性价比。每台ParaStor200数据控制器配置4块240GB SSD硬盘和20块3TB SATA硬盘（SSD磁盘数量占1/6），每台数据控制器裸容量60.96 TB。

用户的热点数据优先存放在SSD分区，冷数据自动迁移到SATA分区，回热数据可以回迁，数据迁移策略综合数据访问频率、文件大小等因素，迁移策略用户可干预和定制。数据迁移过程在SSD和SATA磁盘之间以数据块级别并发进行，速度快且对存储性能影响较小，整个数据迁移过程自动透明，用户看到的是一个统一完整的数据访问空间。

（4） 协议支持

10

集群管理节点、登陆节点、计算节点、备份节点、远程可视化节点等作为ParaStor200的客户端，通过私有协议（内核态）和InfiniBand网络访问并行文件系统，可同时支持Linux和Windows客户端。

除了私有协议，ParaStor200还支持标准的NFS、CIFS接口、POSIX API、MapReduce编程接口、REST编程接口、SOAP编程接口、SNMP接口，具有广泛的适应性，其中MapReduce编程接口支持大数据使用模式，比传统的HDFS具有更高性能和可靠性。

集群系统外的其它设备，只要以太网络能访问集群系统，无需InfiniBand，就可支持通过NFS或CIFS挂载ParaStor200，方便数据操作。

（5） 访问控制

ParaStor200提供对存储客户端和用户的精细化管理和控制，支持用户和用户组的Quota配额管理，提供对用户/用户组以及客户端的授权管理。针对某些特定行业，还可配置WORM（Write Once Read Many）功能，防止恶意篡改数据。

（6） 扩展性

ParaStor200分布式存储系统具有极佳的扩展性，支持在线扩容，且不影响业务系统使用。增加数据控制器后，数据对象自动实现负载均衡的迁移分布（如下图所示），使得整个存储系统实现容量和性能的线性增长。

11

图4-5. 曙光ParaStor200在线扩容示意

（7） 监控管理

ParaStor200分布式存储系统具备简易的部署和运维管理功能，提供基于Web的统一监控管理平台。直观易懂的图形界面方便用户管理和监控系统的软硬件资源。主要管理功能包括：

?

监控系统：网络、节点磁盘（故障磁盘能够定位到物理位置，节点硬件前面板上也会有指示灯显示）、内存、元数据控制器RAID卡状态监控，节点服务状态监控，系统故障告警（界面、邮件、短信等方式），运维报表，管理事件记录；

?

系统管理：系统的启停、卸载、升级，异常情况下进行强制启动。客户端授权、挂载及状态管理，管理控制器、索引控制器和数据控制器的增删、启停以及更换；

?

高级管理：配额管理，文件系统创建、删除、配置，在线参数配置，阈值管理，资源配置；

12

图4-6. 曙光ParaStor200的Web管理监控界面

13

高清与海量存储发展到网络阶段，在平安城市项目中重点不再仅仅是简单的存储，而是如何能在海量信息当中达到快速、准确的录像访问和存取才是大家关注的。存储的管理功能格外重要，因此，如何为用户提供高性能、稳定、易扩展、管理的解决方案才是平安城市储存解决方案迫切需要的。

14

5.成功案例

5.1.曙光公司存储介绍

2014年NAS排名国内第一Factory Revenue US$M6050403020100NetAppSugonEMC-14.5%HuaweiDellToyouHDSDDNHPOthers22.8E.0 .7 .2%9.2%4.0%3.1%2.1%4NAS Market Key Vendor Competitive Analysis, 2014/201320132014YOY Growth f.9d.6%2.1%2.0%9.9%-0.3%0.9%0.0.9.8.7%AVG Growth 14 Share%?2014年曙光NAS存储业绩总排名国内第一，国际第二?NAS产品主要为曙光海量存储产品-ParaStor，展现形式为集群NAS,并行文件系统产品 基础产品线1654321中端磁盘阵列?3U，16盘位?支持SAS/SATA/SSD?FC/ISCSI,主机接口?高效能，绿色节能1DS900-G10/20DS800-G25DS600-G10中高端磁盘阵列?支持SAS/SATA/SSD?FC/ISCSI主机接口?快照，卷拷贝，卷镜像，存储池，精简配置?扩展性强?高级功能丰富高端集群磁盘阵列?多控制器级联?多协议统一存储?支SAS/SATA/SSD?FC/FCOE/ISCSI主机接口?高级功能丰富?超高性能，扩展性强?高级功能丰富 1

基础产品线2654321单路存储服务器?4U 24/36 两种机型?支持SATA/SAS/SSD双路存储服务器?4U机架式，24/36盘位三种机型?支持SAS/SATA/SSD6DCStor200DBStor100/100LI640-G15I240-G20一体化备份系统?软硬一体化备份系统?集成PB级VTL或智能磁盘（重复数据删除）?支持各种文件、OS和数据库在线备份恢复?支持本地备份与远程容灾云存储容灾系统?在线双活热备，与应用系统无关?支持异构存储资源整合?支持关键数据双写，避免存储单点故障?支持跨地域容灾?支持单路处理器?4根UnbufferDDR3内存，?支持Intel 系列双路CPU最大可至32GB?最大512GB DDR3内存?可选RAID0/1/5/6/10/50?可选RAID0/1/5/6/10/50 云存储产品线654321管理控制器?基于X86架构服务器构建元数据控制器?基于X86架构服务器构建7云存储系统ParaStor200数据控制器（oStor）元数据控制器（oPara）管理控制器（MGR）数据控制器?基于存储服务器构建?提供实际的数据存储空间和数据访问通道?集群架构，数量可从3个扩展到上万台?支持千兆、万兆和IB数据访问接口?数据支持副本/N+M?动态在线扩展云存储系统?面向海量非结构化数据?基于X86架构标准硬件构建，全冗余集群架构?聚合带宽可达数百GB/s，EB级容量，百亿级文件数量,?数据支持副本/N+M?支持虚拟存储池，全局统一命名空间?实现云存储系统的统一部署、?管理元数据和和命名空间管理和监控?高可靠双活架构，数量可从?采用高可靠双活架构，当存2个扩展到128个储规模小时，可以和oPara?采用高性能SSD/SAS元数实现设备复用据存储空间?提供命令行和图形界面两种接口?支持千兆管理网络?支持千兆、万兆和IB元数据访问接口?支持动态在线扩展 2

大数据产品线654321曙光Hadoop发行版?统一的企业级Hadoop HA平台软件模块?对开源进行优化和加固，具备商业交付能力?完全开放性架构，实现百P级数据存储, 兼容业务组件部署；?图形化监控管理平台，简化部署、管理和使用曙光XData计算模块?基于X86架构服务器构建?海量结构化、非结构化数据处理系统，提供加载、查询等服务?采用无共享存储方式，数据加载性能和数据规模呈正比?任务自动分解，多数据模块上并行执行?提供多种复杂查询优化策略8XData一体机XData-DNodeXData-CNodeXData-Hadoop曙光XData数据模块?基于存储服务器构建?为海量结构化、非结构化数据提供存储空间?支持SAS/SATA/SSD?支持RAID/副本多种数据保护机制?支持自动分级存储?集群架构，按需动态扩展曙光XData一体机?面向海量数据的高速存储、查询检索系统?整体机柜方案，有1/4、1/2到n个机柜多种选择?结构化和非结构化统一访问，PB级数据处理能力，按需扩展?集群架构支持大量并发，降低响应时间 产品详细信息可登录曙光存储网站www.sugonstor.com查询。

5.2.平安城市视频监控典型存储案例

5.2.1.宜昌城市视频监控云项目

一、用户背景

宜昌市位于湖北省西南部，于1992年形成辖县的市（地级市）体制。宜昌划分为三市、五县、五区，总人口415万人，面积2.1万平方公里，市区面积4249平方公里，截止2013年年底，建成区面积达150平方公里，市区户籍人口120万人。

根据省委办、省政府办《关于继续深入推进社会治安视频监控系统建设的意见》的要求，宜昌城区在2016年前需要逐步新增约4000个A类高清治安视频监控点。而目前现有的视频监控系统大多为部门自建或独立项目建设，存在着各个系统相互孤立、标准不一、系统可扩展性不强、各部门之间难以协同工作等缺

3

点。这就迫切需要把现有系统升级为可满足大规模视频信息共享需求和多元化业务需求的城市级高清视频监控综合业务平台，实现各业务间的集成和整合，以消除信息孤岛，提升系统整体运行效率。

二、用户需求

“宜昌城市视频监控云”将定位于对整个城市范围的视频资源和相关信息进行有效管理和应用，以为各类部门如：公安、城管、交通、环保、安监等的业务领域提供服务支持。

?

按需（容量、性能）扩展

目前，城区已建摄像头2900余个，基本要淘汰的有1000个，满3年的1500个，其余400个为最近建设的，目前急需将1000个满5年的摄像机予以更换。并且按照要求在随后几年中需要建设7100个A类高清摄像头，所以对于存储的要求就是随着摄像头的增加存储容量也可以进行在线扩容，且存储的IO带宽也应该呈现近线性增长。

?

云监控

按照传统的监控方式，每个视频服务器会接入多路摄像头，当视频服务器出现意外宕机的情况下，摄像头数据将无法保存。目前只能尽可能的减少服务器宕机的概率，而对于系统意外宕机没有有效的预防措施。

?

高可靠、易管理

在监控层出现的问题，也依然在存储层出现。现有存储解决方案一般是基于存储服务器或者磁盘阵列来满足数据存储，但是仍然解决不了当出现存储服务器或者是磁盘阵列宕机出现的数据不可写问题。

当存储规模达到一定程度的情况下，存储服务器与磁盘阵列的管理成本会出现指数级增长，对于存储的管理出现了一台一管理，运维的效果出现大幅度下降。如何能够减少运维工作人员的工作量成为了运维的首要问题。

4

?

重建速度快

视频监控数据会7*24小时源源不断的写入存储，当存储有一块磁盘损坏时，第二块硬盘失效的概率将大大增加，甚至需要运维工程师立即更换硬盘，一旦更换硬盘时再出现问题，整个存储将会面临着丢数据的风险。

?

减少磁盘碎片

由于视频数据会存放15天，当视频数据经历了长年累月的写入，删除后会给存储带来大量的磁盘碎片，这样数据在写入时性能会下降比较明显。

三、解决方案

根据宜昌城市视频监控云项目总体规划，视频监控云平台旨在建设一个统一的、城市级的视频监控平台，将城市现有的视频监控资源有效整合起来，并在此基础上针对各类视频应用需求提供支撑。

图5-1. 宜昌城市视频监控云系统逻辑视图

宜昌城市视频监控云系统包括视频监控云管理与视频监控云存储系统。

5

视频监控云管理：是整个架构的后端支撑，主要功能就是将视频监控物联网中的监控设备接入进视频监控平台，将视频数据存入视频监控云存储，并提供对外接口，供视频监控云应用及视频监控云分析调用。

视频监控云存储：由于高清视频监控云存储容量需求庞大，云存储需要为高清视频信息的存储、回放、应用、智能分析等功能提供资源池。

四、方案优势

?

云监控

采用分布式云监控实现了监控的虚拟化，使前端摄像头不会因某台视频服务器宕机而出现中断。当某台服务器出现物理宕机后，管理系统会把分配到该台服务器上的摄像头迁移至另外的服务器上，实现视频传输的不间断写入。

?

按需（容量、性能）扩展

随着数据量的增加，可以在线增加数据节点来完成容量的扩展，且扩容的同时性能会随着节点数目的增加而增加。容量越大，单位T的成本在逐步降低。

?

高可靠、易管理

存储系统的可靠性取决于所有部件均能正常工作，曙光ParaStor设计的理念即是把存储系统中最重要的控制器、网络、磁盘等易出现问题的部件做为常态去考虑。在控制器、网络、磁盘等层面都进行了冗余保护，从而容忍多块硬盘同时失效，也可以容忍多个节点同时失效，大大提高了系统可靠性。

通过Parastor存储管理系统，安装部署10个节点与安装部署100个节点所需时间和工作量基本相同，从管理和使用上管理1T数据与1PB数据一样简单，极大地降低了用户后期的使用和管理成本，节省了大量的人力、物力和财力

?

重建速度快

6

ParaStor的磁盘重建策略使得目前系统磁盘重建速度为原来的10倍，在降低了磁盘重建时间的同时也保证了数据的安全，并且在数据重建过程中无需人工干预。

?

减少磁盘碎片

ParaStor提供基于策略的优化，由于视频监控数据会定期删除，数据在写入存储后，按照一定对象大小存放（不足对象大小时会占满整个对象），数据删除时会把当前数据所在的整个对象删除，这样就很好的保证了磁盘碎片的产生。

五、用户收益

在采用了曙光ParaStor云存储解决方案以后，监控平台屏蔽掉了单点故障问题，在数据存储方面该系统很好的解决了宜昌市视频云大数据集中的问题，可以按照前端摄像头的数量和码流的大小动态的增加节点，增加带宽供给。用户相关负责人表示采用目前这种架构后监控平台不会因为某台服务器宕机而影响到监控，存储从管理界面上能够快速定位问题和监控整个存储系统，大大降低了运维的难度。在接入将近3000路摄像头的情况下，已经稳定运行了将近半年，建设城市级高清视频监控云这样一个平台为目前各部门提供了良好的业务支撑。

5.3.成功案例列表

用户名称 长春交警支队视频监控项目 成都市天网工程项目 宜昌城市视频监控云项目 包头交警执法记录仪视频云项目 存储规模 600TB 3PB 2.6PB 1PB 项目日期 2015 2014 2013 2013 7

湖北武汉平安城市 湖北襄阳平安城市 山东济南历下区电子防控城 山东莱芜平安城市 400TB 2PB 3PB 1.5PB 2PB 500TB 400TB 500TB 1.5PB 2013 2012 2013 2013 2012 2013 2012 2013 2013 安徽蚌埠平安城市 新疆高检 北京顺义区平安城市 北京首都机场保税区 浙江某监狱监控项目

8

本文来源：https://www.bwwdw.com/article/lwvx.html