大数据

1.1 大数据技术国内外研究进展

近年来，大数据迅速发展成为工业界、学术界甚至世界各国政府高度关注的热点。《自然(Nature)》和《科学(Science)》等杂志相继出版专刊来探讨大数据带来的挑战和机遇。著名管理咨询公司麦肯锡声称，“数据已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。人们对于大数据的挖掘和运用，预示着新一波生产力增长和消费者盈余浪潮的到来”。在这样的背景下，美国政府2012年宣布投资2亿美元启动“大数据研究和发展计划”，这是继1993年美国宣布“信息高速公路”计划后的又一次重大科技发展部署。美国政府认为大数据是“未来的新石油”，一个国家拥有数据的规模和运用数据的能力将成为综合国力的重要组成部分，对数据的占有和控制将成为国家间和企业间新的争夺焦点。大数据已成为社会各界关注的新焦点，“大数据时代”已然来临。

与传统规模的数据工程相比，大数据的感知、获取、存储、表示、处理和服务都面临着巨大的挑战。这归因于大数据具有几个突出的特征：1)数据集合的规模不断扩大，已经从GB、TB再到PB，甚至已经开始以EB和ZB来计数。IDC的研究报告称，未来十年全球大数据将增加50倍，管理数据仓库的服务器数量将增加10倍以便适应这一增长。2)大数据类型繁多，包括结构化数据、半结构化数据和非结构化数据。现代互联网应用呈现出非结构化数据大幅增长的特点，至2012年末，非结构化数据占有比例达到整个数据量的75%以上。3)产生速度快，处理能力要求高。根据IDC的“数字宇宙(Digital Universe)”报告，预计到2020年，全球数据使用量将达到35.2ZB，在如此海量的数据面前，处理数据的效率就是企业的生命。大数据往往以数据流的形式动态、快速地产生和演变，具有很强的时效性，只有把握好对数据流的掌控才能有效利用这些数据。4)数据真伪难辨，可靠性要求更严格。大数据的集合和高密度的测量将令“错误发现”的风险增长。斯坦福大学的统计学教授Trevor Hastie称，如果想要在庞大的数据“干草垛”中找到一根有意义的“针”，那么所将面临的问题就是“许多稻草看起来就像是针一样”。5)数据价值大，但密度低、挖掘难度大。价值密度的高低与数据总量的大小成反比。如何通过强大的机器算法更迅速地完成数据的价值“提取”成为目前大数据背景下亟待解决的难题。

大数据在带来挑战的同时，还蕴含着划时代的重大意义。特别是大数据时代对海量数据的积累、加工和利用能力将成为国力的新标志，大数据的深度分析和利用将对推动经济持续增长、提升国家的竞争力起到重要的作用。一个国家的数据主权将是继海、陆、空、天四个空间之后另一个大国博弈的空间。“十八大”报告中明确提出网络空间与深海、深空是我们国家核心利益的关键领域。在大数据领域的落后，意味着产业战略制高点失守，更意味着国

家安全将在数据空间出现漏洞。美国启动“大数据研究和发展计划”不仅是一个推动美国在高技术领域继续领先的战略计划，更是一个保护美国国家安全、推动社会经济发展的计划。以美国为代表的西方国家正在通过增强大数据领域竞争能力进一步提高自己的综合国力。可以预见未来国家之间的经济与政治竞争将是大数据引领的竞争。

当前对大数据的研究大致也可以分为专注于研究大数据的复杂性和计算模型的基础理论，以及着眼于大数据的感知与表示、内容建模与语义理解，和大数据计算架构体系的关键技术这样两个层面。下面简要介绍相应的研究现状。

2.1 大数据的复杂性和计算模型

针对大数据的复杂性，前期的研究主要是对网络上多种来源的数据进行性质分析和规律探索，很多学者尝试运用图论和统计分析等方法对数据进行定量分析。特别值得注意的是，人们已经发现了复杂的网络大数据之中存在一些统计规律性。譬如，Barabási等人通过对大量电子邮件数据的分析，证明人类行为中的通信、娱乐和工作模式并不遵循泊松过程，而是基于决策排队过程的结果，即由于存在优先次序导致任务执行时间具有重尾效应[1]。Kleinberg等人通过分散方法等随机图算法发现大规模社会网络的小世界网络规律，利用理论模型解释了六度分割等现象[2]。面对大数据的复杂性，还有一些学者尝试使用统计方法和复杂网络方法来研究如何对大数据进行按需约简。相关数据约简的方法多数集中在对样本属性的约简上，其目的是在保持分类能力不变的情况下，删除其中不重要的和冗余的属性，同时提取出重要的属性信息。例如，Cervantes等人使用最小封闭球聚类，提出基于支持向量机的数据约简方法[3]。但这类基于统计的方法在处理大数据时其时效性难以保证。

针对大数据的计算理论和算法的研究目前主要集中在大数据机器学习的基础理论、参数估计方法、优化算法等方面，形成的一系列成果为大数据高效计算提供了理论支持。普林斯顿大学的Blei等人针对大规模网络文本数据的主题建模，提出了在线学习算法，为大数据下非参数模型的高效估计奠定基础[4]。斯坦福大学的Mahoney提出了随机算法实现快速矩阵近似分解，并给出了近似值和真实值差距的理论边界[5]。法鲁托斯等人提出了大规模张量分析方法，可以比原算法速度提高两个数量级[6]。美国加州大学伯克利分校Jordan等人开展了大数据分析的理论基础研究，目前已有的成果包括分布式优化算法[7]和大数据非参数估计方法[8]等。

2.2 大数据的感知与表示

爬虫是当前大数据感知和获取的基本技术，已得到迅速发展和广泛应用，但仍不能有效应对被称为Web 2.0的新一代互联网数据[9]。为了有效利用网络大数据，需要将异构、低质

量的网络数据转化为结构统一的高质量数据，因此业界提出了一系列数据抽取算法以应对大数据的异构性[10-11]，应用经过扩展的传统数据集成技术从多个异构数据源集成数据[12]，并开始将过去一些数据清洗和数据质量控制方面的研究应用于网络数据质量控制[13-14]。但总的来说，将这些技术直接用于大数据处理，在数据处理的规模和得到的数据质量方面还不能令人满意。另一方面，人们很早就认识到了动态性和时效性是大数据的重要特性[12]，数据流(data stream)[15-16]和时间序列(time series)[17]是表示和处理数据动态性和时效性的主要技术。同样，从数据的可处理规模和功能上，传统数据流和时间序列技术还无法满足大数据处理的需求。

对大数据的表示主要有图模型与张量两大类方法。譬如，Boldi等研究了图的压缩方法[18]，但是只关注了如何有效地存储网页的链接信息来对Web图进行压缩，以方便网页排序(Page-Rank)和权威向量的计算，并没有涉及图的结构问题。除了图之外，张量是另一个广泛关注的大数据表示方案。由于没有破坏数据的领域、局部和全局结构，与向量比较，数据的张量形式表达能最大限度地保持原始数据的固有信息。Vasilescu等人用张量形式成功地表达了光照、视角、类别等几个模态的人脸数据库[19]。自此，张量表示在图像、视频、文档等领域中得到了深入研究。Hinton等革命性地提出了通过深度信念网(Deep Belief Networks，DBNs)的非监督贪心逐层训练的深度学习(Deep Learning)算法，使得研究在统一的平台上进行特征提取的方法变为可能[20]。Acar等认为，高维大数据可以用张量来表达，而基于张量计算的方法可以从高维大数据中提取有用信息[21]。Phan等提出用张量表示图像、纹理、音乐谱的方法[22]。针对大数据下的张量数据，2013年Sidiropoulos提出了基于压缩感知的核张量计算方法。

2.3 大数据的内容建模与语义理解

由于大数据的规模巨大、高维、异构、多源等特性，当前在大数据内容建模方面的工作主要集中在数据的实体、类别和属性的提取与分析等方面。在大数据中实体的属性学习方面，Russakovsky等提出了利用ImageNet进行属性学习的方法[24]。Parikh等进一步提出了相对属性的学习方法[25]。2012年，斯坦福大学和谷歌的研究人员构建了一个多达10亿个连接的深度学习网络。该网络通过对来自YouTube的1 000万幅视频帧的自主学习，学会了识别猫的面孔[26]。他们还对2.2万个类别进行了图像分类，准确率达到了15.8%，比当前最先进的方法提高了70%。而传统的方法需要通过对图像加标签、提取特征、训练分类器等步骤才能够实现对概念的识别。针对大数据内容理解的另一个重要进展是基于数据驱动(Data-Driven)方法的提出。2008年，Torralba等人利用网络中的图像构建了一个包含八千万

幅图像的数据，并利用该数据库完成了基于搜索和词汇树相结合的图像中物体、人物、位置等信息的理解[27]；Wang等人构建了一个包含20亿幅图像的数据库，利用该数据库实现了一种基于近似图像搜索的图像标注方法[28]。总体而言，目前针对大数据内容建模的研究主要针对大数据的某一特性展开，全面考虑大数据关键特征的研究工作还很少。

在语义理解方面，语义网作为语义的核心载体，已经得到了实际应用，利用语义网研究语义理解，也开始得到学术界的关注。Christian等人提出了利用关联开放数据

(Linked Open Data，LOD)的思想在Web上不同数据源之间创建语义关联[29]，促进异构数据源之间的互操作；武汉大学何克清等人提出元模型与本体相融合的建模体系[30]，通过本体到元模型、模型、元数据的语义标注，在元级上屏蔽模型的差异性，以及实现语义网上异构信息模型间的语义互操作，达到无歧义语义理解。由于大众的广泛参与，群体智能(Collective Intelligence)被视为是一种从人类大规模交互中所涌现出来的社区知

识库(如维基百科，Wikipedia)[31]，基于此提出的交互式通信模式更便于网络内容的理解与共享，从而解决一些图灵机智能难以解决的语义理解问题。因此，可以通过众包的方式，借助群体智能，来分析和理解互联网上的各种信息。

2.4 大数据的存储与架构体系

大数据的架构体系研究首先需要关注的问题就是大数据如何存储。在数据存储的基础上，为了应对大数据的快速以及高效可靠处理，需要建立大数据计算的编程模式以及相关的优化方法。大数据存储的形式包括分布式的文件系统、分布式的键值对存储以及分布式数据库存储。当前的研究也集中在这三个方面，并依据应用的需求进行相关的优化。在分布式文件系统研究方面，传统的分布式文件系统NFS应用最为广泛[32]。为了应对搜索引擎数据，谷歌在2003年公布了其能够用于存储网页数据的分布式文件系统技术GFS[33]。开源社区据此开发了适合部署在廉价机器上的Hadoop分布式文件系统HDFS[34]。微软自行开发的Cosmos[35]支撑着其搜索、广告等业务。2010年Facebook推出了专门针对海量小文件的文件系统Haystack[36]，以降低对磁盘寻道速度的要求，类似的还有淘宝推出的文件系统TFS[37]。键值对存储也是一大类重要的存储系统。2007年亚马逊(Amazon)提出的Dynamo以键值为模式，是一个真正意义上的去中心化的完全分布式存储系统，具有高可靠性、高可用性且具有良好的容错机制[38]。由于模型的简单性，键值对存储在应用模型不是很复杂的情况下能够获得更好的性能。当然，数据库模型还是一大类非常重要的存储模型。Bigtable是谷歌开发的基于GFS和Chubby的非关系数据库，是一个稀疏的、分布式的、持久化存储的多维度排序映射表[39]。为克服其缺乏一致性支持的缺点，2011年谷歌将其改进为Megastore系统[40]，

但是改进后的系统性能不是很高。2012年谷歌进一步开发了Spanner系统，能够进一步加强一致性，将数据分布到了全球的规模，性能有了一定提高[41]。Spanner是第一个可以实现全球规模扩展并且支持外部一致事务的数据库。 1.2 大数据平台及其架构研究

1.2.1 考虑水火电系统联合调度运行的电网大数据平台构建

电网水火电系统运行数据是典型的大数据，这些数据无论从数据量（水火电系统运行时间长，产生的数据量及其庞大）、数据种类（电站信息、检修信息、水雨情信息、图片信息、文档信息等）、数据增长速率（电站机组运行过程中的相关数据和考虑约束增长迅猛），还是数据分析价值都呈现出“大”的特点，如何充分利用这些大数据信息，从中挖掘出可以指导实际生产的调度规则，提高计划人员长中短期水火电计划制作效率和结果的合理性，是计划生成过程中需要重点研究的课题。国内已有传统电力系统信息平台的建设大多采用价格昂贵的大型服务器，存储采用磁盘阵列，数据库采用关系数据库系统，业务应用采用紧密耦合的套装软件，导致系统扩展性较差、成本较高，难以适应智能电网对状态监测数据可靠性和实时性的更高要求。就当前实际情况引入了Hadoop 大数据处理框架解决数据量巨增带来的瓶颈。

Hadoop 是一个大数据处理框架，它能够运行于多种平台上，并且具备良好的可靠性和可扩展性、数据处理量大、实时性高、成本低廉等优势。Hadoop 一经问世就受到了许多互联网公司的关注。它的分布式架构让处理非结构化数据的应用能够轻松运行

HDFS(Hadoop Distribute File System) 是 Hadoop 上的分布式文件系统。HDFS 有着高容错性的特点，采用 master/slave结构，并且用来设计部署在廉价的硬件上。它提供高吞吐量来访问数据，适合那些大量数据的应用程序。MapReduce 是一种处理海量数据的分布式计算模型框架，用于对大规模数据的并行计算。

HBase 是 Hadoop 的数据库，能够对大型数据提供随机、实时的读写访问。HBase 是分布式的，多版本的，面向列的存储模型。它存储的是松散型数据。

基于上述技术，利用现有的设备搭建水火电联合调度运行的电网大数据平台提供了可能性。

本文来源：https://www.bwwdw.com/article/hb6f.html