浅谈大数据技术

2014-2015学年第二学期《大数据技术》课程论文要求

一、考核内容

每人均进行论文答辩，根据论文内容及答辩结果和平时实验作业情况给出本课程最终成绩：期末论文50%、平时作业50%。

二、课程论文要求

论文题目自定，必须结合课程教学内容（大数据的概念，大数据的特点、价值，对各个行业的创新，对我们生活的改变，大数据技术，大数据的隐私，大数据的挑战及未来）。论文包括选题背景与意义、选题领域研究综述、正文、结论、参考文献等内容。

字数要求：????字以上。?格式要求：A4标准纸张 1. 封面

2. 论文题目（宋体三号加粗居中） 【摘要】

中文摘要200-300字 。 摘要二字：宋体小三号，摘要正文：宋体小四号，正文行距1.5倍（以下正文行距按1.5倍设置）

【关键词】 关键词 3-5个。 3. 英文题目 【Abstract】 【Keyword】

英文摘要200-300字、关键词与中文关键词对应，字体同上。 4. 正文

（1）一级标题：如 1，字体为宋体四号加粗；

（2）二级标题：如 1. 1 1. 2，字体为宋体小四号加粗；

（3）其他文字：中文字体为宋体小四号，英文字体为Times New Roman小四号，行距1.5倍。

5. 参考

浅谈大数据与社会治理创新

当前，我国正处全面深化改革的攻坚期，全面建成小康社会的冲刺期。党的十八届三中全会强调,围绕推进国家治理体系和治理能力现代化目标，不断创新社会治理体制。这与当前大数据技术的发展正好不期而遇。大数据伴随着云计算、物联网、移动互联网的发展，正在对全球经济社会产生巨大的影响。针对目前社会治理领域普遍存在的服务理念滞后、决策机制不够科学、部门协作亟须加强、工作效率亟待提升等问题。大数据技术从认识、理论、方法、实践和效果评估等方面都能给人们全新的视野，为社会转型期的社会治理创新带来了机遇。大数据时代给社会治理提出了新的挑战，要求我们把握大数据时代社会治理的特点，变革社会治理的研究方式，适应大数据时代社会治理的需要。

一、 大数据的概念及特征

大数据，指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》中大数据指不用随机分析法（抽样调查）这样的捷径，而采用所有数据进行分析处理。

大数据的5V特点（IBM提出）：Volume（大量）、Velocity（高速）

大数据时代数据存储技术的发展

摘 要 数据的存储技术经历了从手工管理、文件管理最后到数据管理的三个主要阶段。随着互联网络的不断发展和进步，使用互联网的用户数据不断地增多，这就促使大数据时代的到来。大数据时代的到来对数据的存储技术提出了更高的要求，但是也给整个世界带来了更加快捷和方便的进步和发展。

【关键词】大数据时代 数据存储 发展

经济全球化进程的不?嗉涌欤?全球间的信息传递越来越迅速。每天人们打开电脑就可以通过各种软件了解到全球各个地区的实时信息和近况。世界范围的信息相互传播，同时，随着云存储的出现，大数据时代的发展变得更加的迅速和快捷。

1 大数据时代的意义 1.1 大数据的作用

大数据并没有一个准确的定义。大数据的出现之初是源于技术方面的发展。但是随着信息量不断增加和发展，常规的电脑内存已经远远满足不了人们生产生活的需要。所以就产生了这项新兴的数据处理技术。比如谷歌的MapRdeuce等等，这项技术的出现使原有的数据不需要进行麻烦和复杂

的表格排列，使的数据的存储以及整理变得更加容易和简单，并且，存储的容量有了非常显著的提高，在很大的程度上提高了人们对数据的整理效率，增加了人们可处理的数据量。

基于大数据分析的未来消费模式研究及应用

[摘要] 一开始，人们因为需要而消费，我们饿了所以要买食物，我们冷了所以要买衣服，生存问题解决后，人们因为欲望而消费，我们要过更好的生活，更体面，更高端，让别人羡慕仰望，所以商家拼命挑起我们的欲望，让我们心甘情愿地去买我们并不需要的东西。现在，感情也成为消费的一大动力了，对于商家来说，你对一个人的喜爱，也是可以换算成钱的，感情就这样变成了一门生意。也许这就是大数据时代的消费方式，你的每一种需要都能得到满足，你的每一次喜欢都能落到实处。你以为这都是你主动的选择，其实你的好恶早已被精确分析计算过，你爱上一个偶像，他及时又熨帖地奉上打着他的标签的商品，你惊喜地发现，这东西正是你的那杯茶，你没喜欢错人，于是，你心满意足地掏钱，他欢欣鼓舞地收钱，皆大欢喜。

第一章 背景概述

40多年在人类沧海桑田的历史上仅仅是弹指一挥间，摩尔定律却见证了电脑的数据处理和储存能力从K（Kilobyte）到M（Megabyte）到G（Gigabyte）到T（Terabyte）的变迁。尤其是互联网的出现，让我们急速地跨入了大数据（Big Data）时代。其主要的驱动力有以下几点：

1、随着社会经济的发展和个人收入的增加，人们

大数据技术的战略意义

随着云时代的来临，大数据也吸引了越来越多的关注，大数据与云计算的关系就像一枚硬币的正反面一样密不可分。从智能传感器到社交网络数据，从声音图片到在线交易数据，可能性是无穷无尽的，选择正确的数据来源并进行交叉分析可以为企业创造最显著的利益。随着数据源的爆发式增长，数据的多样性成为“大数据”应用亟待解决的问题。

最早提出“大数据”时代到来的是全球知名咨询公司麦肯锡，现在大数据的概念已经渗透到当今每一个行业和业务职能。大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。换言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。

水库还是沼泽由分析能力决定

大数据的多样性决定了数据采集来源的复杂性，而如果不加以正确的引导与分析，则可能让你迷失其中。诚如Teradata天睿公司首席技术官Stephen Brobst（宝立明）的表态，当数据积累到后期，会让你深陷其中如同沼泽，也可能变成水库，在其中可以游刃有余的钓到你期望的“鱼”，变成水库还是沼泽则由数据分析能力决定，善加利用则会获益良多。

现在的物联网、云计算、移动互联网、车联网、手机、平板电

JR、JS系列的电机是中型三相异步电动机，是我国50年代未60年代初统一设计的中型电动机，它分低压和高压两部分，都是中型三相电动机的基本系列。Y型系列三相电动机，是我国近年来研制成功的节能新型电机。JR、JS系列的电机基本淘汰被Y系列所取代。功率相同即是容量相同，只是Y型系列电机体积比JR、JS系列电机体积小

本文摘自:.xcmoter.

JR系列电动机

JR系列电动机为驱动各种不同机械之用，如通风机、压缩机、水泵、破碎机、切削机床、榆树机械及其他设备等。本系列电动机一般为为自通风防护式。电动机应在海拔高度不超过1,000米，使用地点空气温度不高于+40℃的室正常工作，温升限度符合国家标准GB/T755-2000的规定。本系列电动机符合机械工业部部颁标准JB563-64和JB564-64的规定。

本系列电动机共分为五个机座号，即11、12、13、14及15号机座。例如：（1）JS147-6表示鼠笼转子型异步电动机，14号机座，定子铁心长度为7号，6极。（2）JR147-10表示绕线转子型异步电动机，14号机座，定子铁心长度为7号，10极

一、JS、JR系列概述

J系列中型电机可驱动各种不同的机械，如通风机、压缩机、水泵、破碎机、球磨机、要削机床、运输机械

大数据

一、大数据概念

\大数据\是一个体量特别大，数据类别特别大的数据集，并且这样的数据集无法用传统数据库工具对其内容进行抓取、管理和处理。 \大数据\首先是指数据体量(volumes)大，指代大型数据集，一般在10TB规模左右，但在实际应用中，很多企业用户把多个数据集放在一起，已经形成了PB级的数据量；其次是指数据类别(variety)大，数据来自多种数据源，数据种类和格式日渐丰富，已冲破了以前所限定的结构化数据范畴，囊括了半结构化和非结构化数据。接着是数据处理速度（Velocity）快，在数据量非常庞大的情况下，也能够做到数据的实时处理。最后一个特点是指数据真实性（Veracity）高，随着社交数据、企业内容、交易与应用数据等新数据源的兴趣，传统数据源的局限被打破，企业愈发需要有效的信息之力以确保其真实性及安全性。

百度知道-大数据概念

大数据（big data），指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》[3] 中大数据指不用随机分析法（抽样调查

大数据

一、大数据概念

\大数据\是一个体量特别大，数据类别特别大的数据集，并且这样的数据集无法用传统数据库工具对其内容进行抓取、管理和处理。 \大数据\首先是指数据体量(volumes)大，指代大型数据集，一般在10TB规模左右，但在实际应用中，很多企业用户把多个数据集放在一起，已经形成了PB级的数据量；其次是指数据类别(variety)大，数据来自多种数据源，数据种类和格式日渐丰富，已冲破了以前所限定的结构化数据范畴，囊括了半结构化和非结构化数据。接着是数据处理速度（Velocity）快，在数据量非常庞大的情况下，也能够做到数据的实时处理。最后一个特点是指数据真实性（Veracity）高，随着社交数据、企业内容、交易与应用数据等新数据源的兴趣，传统数据源的局限被打破，企业愈发需要有效的信息之力以确保其真实性及安全性。

百度知道-大数据概念

大数据（big data），指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》[3] 中大数据指不用随机分析法（抽样调查

1.1 大数据技术国内外研究进展

近年来，大数据迅速发展成为工业界、学术界甚至世界各国政府高度关注的热点。《自然(Nature)》和《科学(Science)》等杂志相继出版专刊来探讨大数据带来的挑战和机遇。著名管理咨询公司麦肯锡声称，“数据已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。人们对于大数据的挖掘和运用，预示着新一波生产力增长和消费者盈余浪潮的到来”。在这样的背景下，美国政府2012年宣布投资2亿美元启动“大数据研究和发展计划”，这是继1993年美国宣布“信息高速公路”计划后的又一次重大科技发展部署。美国政府认为大数据是“未来的新石油”，一个国家拥有数据的规模和运用数据的能力将成为综合国力的重要组成部分，对数据的占有和控制将成为国家间和企业间新的争夺焦点。大数据已成为社会各界关注的新焦点，“大数据时代”已然来临。

与传统规模的数据工程相比，大数据的感知、获取、存储、表示、处理和服务都面临着巨大的挑战。这归因于大数据具有几个突出的特征：1)数据集合的规模不断扩大，已经从GB、TB再到PB，甚至已经开始以EB和ZB来计数。IDC的研究报告称，未来十年全球大数据将增加50倍，管理数据仓库的服务器数量将增加10倍以便适应这一增长

本文档系统的分析了国内外大数据技术的研究现状,对于今后大数据技术的发展趋势具有重要的指导意义。

2 国内外研究现状及发展趋势

美国政府将大数据视为强化美国竞争力的关键因素之一，把大数据研究和生产计划提高到国家战略层面。2012年3月，美国奥巴马政府宣布投资2亿美元启动 “大数据研究和发展计划”，这是继1993年美国宣布“信息高速公路”计划后的又一次重大科技发展部署。以美国科学与技术政策办公室（OSTP）为首，国土安全部、美国国家科学基金会、国防部、美国国家安全局、能源部等已经开始了与民间企业或大学开展多项 大数据相关的各种研究开发。美国政府为之拨出超过2亿美元的研究开发预算。据悉，美国国防部已经在积极部署大数据行动，利用海量数据挖掘高价值情报，提高快速响应能力，实现决策自动化。而美国中央情报局通过利用大数据技术，将分析搜集的数据时间由63天缩减到27分钟。

继美国率先开启大数据国家战略先河之后，欧盟、日本等国家也进行了跟进。

欧盟委员会全新的开放数据平台（以下简称为ODP）Beta版已经向公众开放，和美国政府的数据开放平台类似，致力于推动开放、透明的政府，促进创新。

2010年4月欧盟委员会发起欧洲数字化议程,致力于利用数字技术刺激欧洲经济增长，帮助