文献综述

大数据的文献综述

姚菊，吴芳芳，朱猛男，田有花

（贵州财经大学 信息学院信息管理与信息系统系，贵阳 贵州550025） 摘要：大数据的产生给海量信息处理技术带来了新的挑战。为了更全面深入地了解大数据的内涵，从大数据的概念特征、国外研究现状、国内研究现状三个方面进行详细阐述，分析了大数据的基本概念，典型的4“V”特征以及它相应的发展史，最后归纳总结出了大数据方面的数字图书馆的一些信息。

关键词：大数据；云计算；数据分析；数字图书馆

Literature overview of big data

Ju Yao,Fangfang Wu,Mengnan Zhu,Youhua Tian

(Guizhou university of finance and economics institute of information management information system and information system,Guiyang Guizhou 550025)

Abstract:The emergence of “big data” has brought new challenges to mass information processing technology.This comprehensive overview was intend to elaborate on big data from three aspect: the concept andcharacteristics,research status both at home and abroad research situation. The basic concept of big data is analyzed, the typical characteristics of 4 %up out of the big data some aspects of the digital library information. Key words; big data; cloud computing; data analysis; Digital library

现在的社会是一个信息化、数字化的社会，互联网、物联网和云计算技术的迅猛发展，使得数据充斥着整个世界，与此同时，数据也成为一种新的资源，亟待人们对其加以合理、高效、充分的利用，使之能够给人们的生活工作带来更大的效益和价值。在这种背景下，就产生了我们现在所谓的“大数据”。

对于“大数据”研究机构Gartner给出了定义，“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。换言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。从技术上看，“大数据”与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理，必须采用分布式架构。它的特色在于对海量数据进行分布式数据挖掘，但它必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。大数据需要特殊的技术，以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术，包括大规模并行处理数据库、数据挖掘电网、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。

随着云时代的来临，“大数据”也吸引了越来越多的关注。随着“大数据”应用越来越广泛，应用的行业也越来越低。每天都可以看到“大数据”的一些新奇的应用，从而帮助人们从中获取到真正有用

的价值，很多组织或者个人都会受到大数据分析影响，大数据根据人们各自的需求从而挖掘出有价值的信息。

一、大数据国外研究现状

“大数据”这个概念早在上个世纪的1980年就被提出来了，著名未来学家阿尔文?托夫勒[1]在《第三次浪潮》一书中，就将“大数据”热情地赞颂为“第三次浪潮的华彩乐章”。2008年9月《科学》[2]（Science）杂志发表了一篇文章“Big Data: Science in the Petabyte Era”。“大数据”这个词开始被广泛传播。目前国内外的专家学者对大数据只是在数据规模上达成共识：“超大规模”表示的是GB级别的数据，“海量”表示的是TB级的数据，而“大数据”则是PB级别及其以上的数据。但对其的准确定义给出的结论不一。从国外的研究现状来看，美国国家科学基金会( NSF) 则将大数据定义为“由科学仪器、传感设备、互联网交易、电子邮件、音视频软件、网络点击流等多种数据源生成的大规模、多元化、复杂、长期的分布式数据集”。Wiki对大数据的定义为：所涉及的资料量规模巨大到无法透过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。麦肯锡[3]全球数据分析研究所在2011年5月发表的一篇论文中所说：“大数据是指大小超出了典型数据库工具收集、存储、管理和分析能力的数据集。”但它同时指出“大数据”并非总是说有数百个TB才算得上。根据实际使用情况，有时候数百个GB 的数据也可称为大数据，这主要要看它的第三个维度，也就是速度或者时间维度。权威IT研究与顾问咨询公

司Gartner将大数据定义为“在一个或多个维度上超出传统信息技术的处理能力的极端信息管理和处理问题”。IBM公司把大数据概括为规模Volume快速Velocity和多样Variety，即3V，而4V则是3V的基础上多一个Value价值。具体来讲，Volume 指数据量极大并仍在持续增大；Velocity指所需的处理速度快，响应时间短；Variety指数据类型繁多，包括结构化数据、半结构化数据甚至是非结构化数据(以此区分大数据与海量数据两个概念)；Value指价值密度低，以视频为例，不间断的监控录像中，有用的数据长度可能仅有一两秒。由以上概念的差异可以看出目前主要从数据来源和数据的处理工具与处理难度两个方面对大数据进行定义。但是这种定义方式会和另一个词语发生混淆——海量数据。有文献指出大数据=海量数据+复杂类型的数据，这一公式是否成立还待进一步讨论。如今“海量数据”研究方向主要考虑各种非结构化数据的有效管理、多数据源的集成问题。由此看来能区别两词还需要借助IBM关于大数据4V特征，尤其是其中的Velocity。强调数据是快速动态变化的，形成流式数据则是大数据区别于其他概念的最重要的特征。

国外除了在大数据的概念上的研究外，重点放在技术研究上。美国政府六个部门启动的大数据研究计划中，除了国家科学基金会的研究内容提到要“形成一个包括数学、统计基础和计算机算法的独特学科”外，绝大多数研究项目都是应对大数据带来的技术挑战，重视的是数据工程而不是数据科学，主要考虑大数据分析算法和系统的效率。 国外大数据产业的发展解析

1、美国的大数据产业已经创造了巨大的价值

具体表现在：大数据使美国的医疗服务质量得到提高，减少医疗成本的同时，提高服务质量和效率，大数据使美国的交通更加便利，大数据使美国的教育质量得到提升，大数据提高了美国的征税效率，提高欺诈检测的水品，在纳税申报之处就揭露违规情况，减少问题退税的发放。

尚普咨询行业分析师指出：美国政府将大数据视为强化美国竞争力的关键因素之一，把大数据研究和生产计划提高到国家战略层面。2012年3月，美国奥巴马政府宣布投资2亿美元启动“大数据研究和发展计划”，这是继1993年美国宣布“信息高速公路”计划后的又一次重大科技发展部署。美国政府认为大数据是“未来的新石油与矿产”，将“大数据研究”上升为国家意志，对未来的科技与经济发展必将带来深远影响。

美国政府还在积极推动数据公开，已开放37万个数据集和1209个数据工具，并在2013年5月初进一步要求，政府必须实现新增和经处理数据的开放和机器可读，激发大数据创新活力。同时，美国政府也是大数据的积极使用者，2013 年曝光的棱镜门事件显示出美国国家安全部门大数据应用的强大实力，其应用范围之广、水平之高、规模之大都远远超过人们的想象。2012至2013年间美国国家安全局(NSA)、联邦调查局(FBI)及中央情报局(CIA)等联邦政府机构还大量采购亚马逊的云服务，以支撑其大数据应用。随着应用的深入，美国政府对大数据带来的负面影响也更加重视，白宫2014年5月发布的

《大数据：抓住机遇，守护价值》报告中提醒，在发挥正面价值的同时，应该警惕对大数据应用对隐私、公平等长远价值带来的负面影响。 2、大数据在欧洲公共管理部门得到深入应用

大数据在OECD组织中的欧洲国家公共管理部门创造了上千亿欧元的潜在经济价值，这些经济价值主要通过政府公共管理机构开支的减少、转移支付的下降及税收的增加来实现。

继美国率先开启大数据国家战略先河之后，欧盟、日本及韩国等国家也将跟进，预计不久相应的战略举措也将出台。数据规模及运用数据的能力将成为综合国力的重要组成部分，对数据的占有和控制也将成为国家间争夺的焦点。

英国政府紧随美国之后，推出一系列支持大数据发展举措。首先是给予研发资金支持。2013年1月，英国政府向航天、医药等8类高新技术领域注资6亿英镑研发，其中大数据技术获得1.89亿英镑的资金，是获得资金最多的领域。其次是促进政府和公共领域的大数据应用。据测算，通过合理、高效使用大数据技术，英国政府每年可节省约330亿英镑，相当于英国每人每年节省约500英镑。为了在医疗领域更好的应用大数据，2013年5月，英国政府和李嘉诚基金会联合投资设立全球首个综合运用大数据技术的医药卫生科研机构，将透过高通量生物数据，与业界共同界定药物标靶，处理目前在新药开发过程中关键的瓶颈，之后还将汇集遗传学、流行病学、临床、化学和计算机科学等领域的顶尖人才，集中分析庞大的医疗数据。 法国政府为促进大数据领域的发展，将以培养新兴企业、软件制

造商、工程师、信息系统设计师等为目标，开展一系列的投资计划。法国政府在其发布的《数字化路线图》中表示，将大力支持“大数据”在内的战略性高新技术，法国软件编辑联盟曾号召政府部门和私人企业共同合作，投入3亿欧元资金用于推动大数据领域的发展。 3、日本政府把大数据作为提升日本竞争力的关键

日本政府认为，提升日本竞争力，大数据应用不可或缺。日本在新一轮IT振兴计划中把发展大数据作为国家战略的重要内容，新的ICT战略重点关注大数据应用技术。日本总务省2012年7月推出了新的综合战略“活力ICT日本”，将重点关注大数据应用，并将其作为2013年六个主要任务之一，聚焦大数据应用所需的、社会化媒体等智能技术开发，以及在新医疗技术开发、缓解交通拥堵等公共领域的应用。

4、澳大利亚、新加坡等国也重视大数据发展

2013年8月初，澳大利亚出台公共服务大数据政策，提出了大数据分析的实践指南，希望通过大数据分析系统提升公共服务质量，增加服务种类，为公共服务提供更好的政策指导。在新加坡政府，多个国际领先企业在当地设立大数据技术研发中心，加速数据分析技术的商业应用。2014年初，新加坡资讯通信发展管理局(IDA)还聘请了首任首席数据科学家，专门推进政府数据的开放和价值开发。 尚普咨询产业投资决策网(www.cu-market.com.cn微信：spzx-bj)发布的《2015-2020年中国大数据行业深度研究及前景预测报告》显示，我国大数据产业发展目前还处于起步阶段，业界对于大数据产业

的立法保护呼声甚高。一些专家认为，目前就大数据单独立法的条件尚不成熟，政府部门应在推进规划引导、完成标准制定、优化完善大数据发展环境等方面发力。

大数据分析是大数据研究领域的核心内容之一[4]。Google首席经济学家、UC Berkeley大学Hal Varian教授指出:“数据正在变得无处不在、触手可及，而数据创造的真正价值,在于我们能否提供进一步的稀缺的附加服务.这种增值服务就是数据分[5]。”数据的背后隐藏着信息，而信息之中蕴含着知识和智慧。大数据作为具有潜在价值的原始数据资产，只有通过深入分析才能挖掘出所需的信息、知识以及智慧。未来人们的决策将日益依赖于大数据分析的结果，而非单纯的经验和直觉。美国《时代》杂志2012年11月指出，奥巴马的成功连任背后所依托的关键即是两年来对大数据的分析与挖掘，例如，通过对海量选民微博的分析得出选民对总统候选人的喜好。中国移动“大云”也是根据对七亿三千万以上用户的数据进行分析，对用户偏好和关注热点等进行归类，用于改善用户体验和辅助市场决策。当前，大数据分析方法论以及支撑技术的研究成为大数据领域的核心焦点之一。

数据分析的过程往往包含数据中获取信息并形成知识的过程，从信息论[6]的角度出发,Dervin等人[7]对信息的本质重新定义，突破了把信息作为独立于认知主体之外的孤立实体的局限性，提出了意义建构理论。这一理论认为：信息是由认知主体在特定时空情境(context)下主观建构所产生的意义，知识也是认知主体的主观产物。

信息意义的建构过程是人的内部认知与外部环境交互行为的共同作用结果。因此，信息不是被动观察的产物，而是需要人的主观的交互行动。知识也是人在交互过程中通过不断建构、修正、扩展现存的知识结构而获得的，并且与Piaget[8]的认知发展理论(theory of cognitive development)相一致，即经过图示、同化、顺应和平衡的建构过程，将从环境中获取的信息纳入并整合到已有的认知结构，并且改变原有的认知结构或者创造新的认知结构，以达到动态的平衡。

二、大数据国内研究现状

近年来，大数据如浪潮般席卷全球，并深度改变人们的生活、工作和思维方式。世界上越来越多的国家开始从战略层面认识大数据，在政府治理领域融入大数据可视化思维和技术。在大数据的发展热潮下，国内大数据行业也正方兴未艾，随着国内经济形势的发展而发展着。

大数据分析相比于传统的数据仓库应用，具有数据量大、查询分析复杂等特点[9]。大数据具有规模大、种类多、生成速度快、价值巨大但密度低的特点。大数据应用就是利用数据分析[10]的方法，从大数据中挖掘有效信息[11]，为用户提供辅助决策，实现大数据价值的过程。

谈到“大数据”或者“数据仓库”，上述行业中的绝大多数企业早已实施了各种数据仓库，以管理数据，这种买药再看病的模式，完全本末倒置。数据仓库与数据库不一样，其使命就是为了分析而存在的。没有分析，仓库何用之有? 90年代末期国内银行掀起了一股数

据集中的热潮。而当时连商业智能还是个尚未传入中国IT概念，更别说数据分析[12]了。这么些年过去了，这些被集中的数据还在么?

在国内，“大数据”尚未直接以专有名词被我国政府提出并给予政策支持。因此国内学者关于大数据概念上的研究并不充分，大多是引用以上定义进行阐释。同时在国内对“海量数据”这一说法认同度较高，更习惯将“大数据”称为“海量数据”，并没有将两个词进行明确的区分。国内大数据研究领域的重点是在大数据与云计算、数据挖掘上，并行计算和分布式处理，应用式主要集中在地理信息系统。

物联网、云计算、移动互联网等新技术的发展，使得手机、平板电脑、PC及遍布地球各个角落的传感器，成为数据来源和承载方式。据估计，互联网上的数据量每两年会翻一番，到2013年末，互联网上的数据量将达到每年667EB（1EB=230GB）。这些数据绝大多数是“非结构化数据”，通常不能为传统的数据库所用，但这些庞大的数据“宝藏”将成为“未来的新石油”。大数据所能带来的巨大商业价值，被认为将引领一场足以与20世纪计算机革命匹敌的巨大变革。大数据正在对每个领域造成影响，在商业、经济和其他领域中，决策行为将日益基于数据分析，而不再是凭借经验和直觉。大数据正在成为政府和企业竞争的新焦点。各大企业正纷纷投向大数据促生的新蓝海，给大数据行业带来新的发展机遇。

国内企业，不论是国企还是民企，真正在业务决策中以数据分析结果为依据的，主要集中在银行，保险，电信和电商等几个行业。以IT预算最充沛，人员能力最强的银行为例，目前主要是大型银行在

频、 视频资源等。后者是伴随着社交网络、移动图书馆、物联网等兴起，读者利用图书馆产生的各种信息，如个人信息、位置信息、浏览信息等信息所形成的非结构化数据。［20］传统的图书馆形式转变为数字图书馆势在必然。大数据时代，高校图书馆、市区图书馆、科技展览馆等科技机构和场所应该发挥信息处理与服务的优势，充分利用机遇， 创新服务内容， 拓展服务范围，利用先进的技术工具和手段， 探索大数据分析及相关服务， 提高科普服务的知识化、 智能化程度，提高图书馆的核心竞争力。［21］ 大数据背景下的科普信息化与数字图书馆

大数据伴随着云计算、移动互联网、物联网等信息技术的成熟而迅速发展，并且越来越受到业界和学术界的关注，相较于过去几十年数字图书馆的研究与发展， 大数据技术在未来几年给云图书馆［22］ 将会带来革命性、持续性和创造性的变化，会对我们所熟知的知识服务能力和知识服务机制产生重大的颠覆和创新，也对现有的技术和方法提出更高的要求，而这一切可能会超出我们正常期待的范围。 基于大数据的数字图书馆信息服务内容 1.基于大数据的数字图书馆资源发现

资源发现对图书馆信息服务来说至关重要。信息服务的基础就是资源发现。就大的数据环境来看，数字图书馆的信息资源具有复杂的结构、丰富、广泛的分布等特点，在这些广泛分布的资源信息中发现并找出他们的联系是一个至关重要的点。就目前来看，这些数字资源被储藏在不同的数字图书馆之中，面对各种不同的数据结构，还需要

一定的工具和技术供数字图书馆利用，以便更好的发现寻找整合信息资源。资源发现的目标是，发现更多的符合用户需要的数字化信息资源。在大数据环境下，就是通过大量的技术，从海量的数字资源中，提供用户满意的数字信息资源。资源发现的内容是，数字化的馆藏信息资源和用户信息资源，在大数据环境下，数字图书馆不仅仅能够提供单一的馆藏信息资源（包括文献数字资源，图书数字资源以及声像数字资源），还应该能够提供用户信息资源的发现（包括用户行为信息资源和用户需求信息资源）。资源发现的方式根据不同的发现内容，其方式也各有不同。用户行为发现和用户信息需求是信息资源发现的两个主要方面，发现的内容不同结果也就不同。当然，发现的模式也不尽相同。用户的行为发现有通过在各个网站上的注册信息，与用户实时交流，以及各种网络问卷调查这三种模式。用户信息需求的调查包括基于元数据仓储资源发现模式、基于用户数据挖掘和分析的数字资源发现和基于大数据决策的信息资源发现。这些都是发现用户信息的模式，都被广泛利用。

2.基于大数据的数字图书馆信息存储

在大数据时代，数字化信息的容量呈现爆炸式的增加，存储的信息不再是简单的文献题目等基本信息，还有文献内部内容的部分信息，数据量从 MB 几何倍增至 TB 甚至是 PB级别。针对于数字图书馆如此庞大的数据量，如果从其中高效准确的获取所需的数据资源，是大数据时代数字图书馆必须解决的问题。

目前，文件存储系统的文件存储方式和检索方式已经不能适应如

此庞大的数据管理需求。同时在大数据时代，数字图书馆除了要存储图书馆馆藏资源信息外，还需要存储大量的用户个人行为信息以便满足用户的特定需求，在此又涉及到数据结构的问题，在大数据时代数据结构呈现出多维化的趋势，针对结构的不同、以划分为结构化数据、半结构化数据和非结构化数据。如果解决不同结构数据的合理存储、融合、分析和处理是大数据时代图书馆迫切需要解决的问题，现在已有相关技术来解决以上问题。

3 .基于大数据的数字图书馆信息资源组织

数字图书馆作为一个可复用提供检索服务的庞大信息管理系统，它是大规模、分布式、有组织的和具有资源共享的数据库和知识库的集合体。对于用户而言，其并不关心数字图书馆中数字资源的具体存在形式，其只关心获取的信息是否满足自己的检索需要。为了实现用户需求和检索结果匹配的精确性，就需要两者之间具有某种“默契”。一致性匹配方式是在数字图书馆中，为了更好的为用户提供信息服务，就需要首先针对数字图书馆的馆藏资源进行科学准确合理的描述和组织，进而形成一致的、充分的、有效的、有序的和准确的组织信息，并且为用户提供可检索和可操作的交互接口，最终实现对数字图书馆数字资源充分利用的效果。同时在大数据环境下，数字图书馆的信息资源表现为数量大、结构形式多样化和数据存储分布化的特点，在这种环境下，对数字进行数据化。 4 .基于大数据的数字图书馆的信息检索

随着大数据的出现，数字图书馆主要为用户提供图书的检索服务，

同时在大数据时代，数据的更新速度越来越快，如果对这些变化的数据进行快速处理，并为用户提供最新的检索信息是基于大数据的数字图书馆信息检索的难点和重点。[23] 智慧服务

图书馆可在过去和现在的大量数据中找出关联、发现规律、验证假设，预测未来服务的趋势和需求，实现智慧服务。在现阶段，图书馆进行智慧服务，首先要利用大数据资源和技术提高图书馆服务的智能化程度。如对海量信息数据的智能抓取、关键词抽取等。利用大数据资源，如大量图片、视频、文本等信息，特别是读者的使用信息、 社交信息等大量非结构、半结构化数据等，为图书馆的智能化决策提供分析参考。［24］同时，加强图书馆管理和服务的互联性，广泛互联的网络服务将成为未来图书馆服务增长的源头，这种网络服务具有泛在、协同、智能性。物联网、云计算和大数据技术为图书馆智慧服务创造了广阔的空间和技术。“物联网的本质就是信息技术支持下跨时空的物物相联，云计算的本质则是大数据环境下泛在便捷的网络访问和个性化服务。” 除了书与人的互联要素外，可以将图书馆、网络、 数据库、物体以及广大读者统一在智能的网格中，成为联为一体的互动要素。

参考文献

[1] 阿尔文?托夫勒: 第三次浪潮，1980

[2] 《科学》: BigData: Science in the Petabyte Era.2008-09 [3] 麦肯锡: 全球数据分析研究，大数据概念分析，2011-05

[4] Labrinidis A, Jagadish HV. Challenges and opportunities with big data. PVLDB, 2012,5(12):2032?2033. [doi: 10.14778/2367502. 2367572]

[5] Cohen J, Dolan B, Dunlap M, Hellerstein JM, Welton C. MAD skills: New analysis practices for big data. PVLDB, 2009,2(2): 1481?1492. [doi:10.14778/1687553.1687576]

[6] Dervin B. Sense-Making theory and practice: An overview of user interests in knowledge seeking and use. Journal of KnowledgeManagement,1998,2(2):36-46.[doi:10.1108/13673279810249369]

[7] Dervin B. On studying information seeking

methodologically: The implications of connecting metatheory to method. Information Processing & Management, 1999,35(6):727?750. [doi: 10.1016/S0306-4573(99)00023-0]

[8] Piaget J. Intellectual evolution from adolescence to adulthood. Human Development, 1972,15(1):1?12. [doi: 10.1159/000271225]

[9]王珊.王会举.覃雄派.周烜.架构大数据:挑战、现状与展望.计算机学报.2011（10）

[10]蓝艳华.刘晓.谢云鹏.大数据时代对我国科技期刊的影响及其对策.第十二届2014全国核心期刊与期刊国际化、网络化研讨会论文集.2014.09.12

[11]陈玉国.大数据时代期刊编辑信息素养提升研究.第十二届2014全国核心期刊与期刊国际化、网络化研讨会论文集.2014.09.12 [12]王超.大数据时代我国意识形态安全探析.学术论坛.2015（01） [13]黎纪东.“大数据时代”小微企业金融服务的发展.中外企业家.2013(27)

[14]李鹏飞.大数据时代中国期刊的发展机遇与探索创新.第十二届2014全国核心期刊与期刊国际化、网络化研讨会论文集.2014.09.12 [15]李国杰.程学旗.大数据研究:未来科技及经济社会发展的重大战略领域——大数据的研究现状与科学思考.中国科学院院刊.2012（06） [16]陶雪娇.胡晓峰.刘洋.大数据研究综述. 系统仿真学报.2013（S1） [17]张引.陈敏.廖小飞.大数据应用的现状与展望.计算机研究与发展.2013（S2）

[18]秦洋.大数据发展趋势下的中国电信运营商电子商务营销模式分析.北京邮电大学.2014

[19］ 陈 超． 图书馆如何迎接大数据时代? ［ J］ ． 图书馆杂志，2014，( 1) : 4 － 7．

[20］ 姜 山，王 刚． 大数据对图书馆的启示［ J］ ． 图书馆工作与研究，2013，(4) : 52 － 54，79．

[21］ 韩翠峰． 大数据时代图书馆的服务创新与发展［ J］ ． 图书馆2013(1) :121 － 122．

[22] 张兴旺， 李晨晖， 秦晓珠． 云图书馆基础理论研究与进展［ J］ ． 图书馆论坛，2012( 5)

[23] 侯辉.大数据在图书馆的应用研究.数据库技术,2015,(2):204-205

[24］ 韩翠峰． 大数据时代图书馆的服务创新与发展［ J］ ． 图书馆，2013，( 1) : 121 － 122．

本文来源：https://www.bwwdw.com/article/f02f.html