大数据

基于大数据分析的未来消费模式研究及应用

[摘要] 一开始，人们因为需要而消费，我们饿了所以要买食物，我们冷了所以要买衣服，生存问题解决后，人们因为欲望而消费，我们要过更好的生活，更体面，更高端，让别人羡慕仰望，所以商家拼命挑起我们的欲望，让我们心甘情愿地去买我们并不需要的东西。现在，感情也成为消费的一大动力了，对于商家来说，你对一个人的喜爱，也是可以换算成钱的，感情就这样变成了一门生意。也许这就是大数据时代的消费方式，你的每一种需要都能得到满足，你的每一次喜欢都能落到实处。你以为这都是你主动的选择，其实你的好恶早已被精确分析计算过，你爱上一个偶像，他及时又熨帖地奉上打着他的标签的商品，你惊喜地发现，这东西正是你的那杯茶，你没喜欢错人，于是，你心满意足地掏钱，他欢欣鼓舞地收钱，皆大欢喜。

第一章 背景概述

40多年在人类沧海桑田的历史上仅仅是弹指一挥间，摩尔定律却见证了电脑的数据处理和储存能力从K（Kilobyte）到M（Megabyte）到G（Gigabyte）到T（Terabyte）的变迁。尤其是互联网的出现，让我们急速地跨入了大数据（Big Data）时代。其主要的驱动力有以下几点：

1、随着社会经济的发展和个人收入的增加，人们

大数据

一、大数据概念

\大数据\是一个体量特别大，数据类别特别大的数据集，并且这样的数据集无法用传统数据库工具对其内容进行抓取、管理和处理。 \大数据\首先是指数据体量(volumes)大，指代大型数据集，一般在10TB规模左右，但在实际应用中，很多企业用户把多个数据集放在一起，已经形成了PB级的数据量；其次是指数据类别(variety)大，数据来自多种数据源，数据种类和格式日渐丰富，已冲破了以前所限定的结构化数据范畴，囊括了半结构化和非结构化数据。接着是数据处理速度（Velocity）快，在数据量非常庞大的情况下，也能够做到数据的实时处理。最后一个特点是指数据真实性（Veracity）高，随着社交数据、企业内容、交易与应用数据等新数据源的兴趣，传统数据源的局限被打破，企业愈发需要有效的信息之力以确保其真实性及安全性。

百度知道-大数据概念

大数据（big data），指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》[3] 中大数据指不用随机分析法（抽样调查

大数据

一、大数据概念

\大数据\是一个体量特别大，数据类别特别大的数据集，并且这样的数据集无法用传统数据库工具对其内容进行抓取、管理和处理。 \大数据\首先是指数据体量(volumes)大，指代大型数据集，一般在10TB规模左右，但在实际应用中，很多企业用户把多个数据集放在一起，已经形成了PB级的数据量；其次是指数据类别(variety)大，数据来自多种数据源，数据种类和格式日渐丰富，已冲破了以前所限定的结构化数据范畴，囊括了半结构化和非结构化数据。接着是数据处理速度（Velocity）快，在数据量非常庞大的情况下，也能够做到数据的实时处理。最后一个特点是指数据真实性（Veracity）高，随着社交数据、企业内容、交易与应用数据等新数据源的兴趣，传统数据源的局限被打破，企业愈发需要有效的信息之力以确保其真实性及安全性。

百度知道-大数据概念

大数据（big data），指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》[3] 中大数据指不用随机分析法（抽样调查

1.1 大数据技术国内外研究进展

近年来，大数据迅速发展成为工业界、学术界甚至世界各国政府高度关注的热点。《自然(Nature)》和《科学(Science)》等杂志相继出版专刊来探讨大数据带来的挑战和机遇。著名管理咨询公司麦肯锡声称，“数据已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。人们对于大数据的挖掘和运用，预示着新一波生产力增长和消费者盈余浪潮的到来”。在这样的背景下，美国政府2012年宣布投资2亿美元启动“大数据研究和发展计划”，这是继1993年美国宣布“信息高速公路”计划后的又一次重大科技发展部署。美国政府认为大数据是“未来的新石油”，一个国家拥有数据的规模和运用数据的能力将成为综合国力的重要组成部分，对数据的占有和控制将成为国家间和企业间新的争夺焦点。大数据已成为社会各界关注的新焦点，“大数据时代”已然来临。

与传统规模的数据工程相比，大数据的感知、获取、存储、表示、处理和服务都面临着巨大的挑战。这归因于大数据具有几个突出的特征：1)数据集合的规模不断扩大，已经从GB、TB再到PB，甚至已经开始以EB和ZB来计数。IDC的研究报告称，未来十年全球大数据将增加50倍，管理数据仓库的服务器数量将增加10倍以便适应这一增长

《大数据》题目

一、 单选题

1)

大数据的4V特点：Volume、Velocity、Variety、Veracity，其中他们的含义分别是（ 1 ）、（ 2 ）、（ 3 ）、（ 4 ）。 A.价值密度低

B.处理速度快

C.数据类型繁多

D.数据体量巨大

2)

大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行（ 5 ）。 A. 数据信息

B. 专业化处理

C.速度处理

D. 内容处理

3)

随着谷歌（ 6 ）和（ 7 ）的发布，大数据不再仅用来描述大量的数据，还涵盖了处理数据的 （ 8 ）。 6: A.Map

B.Docs

C. YouTube

D. MapReduce

D. Google

7: A. Google Mobile Docs 8: A.质量

4)

B. iGoogle C. GoogleFile System

B. 速度 C.精度 D. 进度

斯隆数字巡天是使用位于新墨西哥州阿帕奇山顶天文台的2.5米口径望远镜进行的红移巡天项目，2012年4月发布的关于Qu

大数据时代Is coming……

大数据时代 认识大数据 大数据带来的变革 大数据背景下的企业管理

大数据的商业价值 大数据的风险

大数据

何为大？—数据度量 1Byte = 8 Bit 1KB = 1,024 Bytes 1MB = 1,024 KB = 1,048,576 Bytes 1GB = 1,024 MB = 1,048,576 KB = 1,073,741,824 Bytes 1TB = 1,024 GB = 1,048,576 MB = 1,099,511,627,776 Bytes 1PB = 1,024 TB = 1,048,576 GB =1,125,899,906,842,624 Bytes 1EB = 1,024 PB = 1,152,921,504,606,846,976 Bytes 1ZB = 1,024 EB = 1,180,591,620,717,411,303,424 Bytes 1YB = 1,024 ZB = 1,208,925,819,614,629,174,706,176 Bytes

大数据 《红楼梦》含标点87万字(不含标点853509字) 每个汉字占

大数据综述

大数据作为互联网、物联网、移动计算、云计算之后IT产业又一次颠覆性的技术变革，正在重新定义社会管理与国家战略决策、企业管理决策、组织业务流程、个人决策的过程和方式。随着科技和社会的发展进步加上计算机和网络技术的兴起，社交网络、物联网、云计算以及多种传感器的广泛应用，使数量庞大，种类众多，时效性强为特征的数据的不断涌现，引发了数据规模的爆炸式增长[1]。

国际数据公司（International Data Corporation，IDC）研究报告称：2011 年全球被创建和被复制的数据总量超过1. 8ZB，且增长趋势遵循新摩尔定律（全球数据量大约每两年翻一番），预计 2020 年将达到 35ZB。与此同时，数据复杂性也急剧增长，其多样性（多源、异构、多模态、不连贯语法或语义等) 、低价值密度（大量不相关信息、知识“提纯”难度高）、实时性（数据需实时生成、存储、处理和分析）等复杂特征日益显著。预示着全球已然进入了“大数据”时代[2]。 1.大数据国外研究现状 1.1大数据相关理论的研究

“大数据”这一术语从2008年开始在科技领域中出现，随之引起学术界的广泛研究兴趣。《Nature》与《Science》杂志分别出版专刊，从互联

大数据征信 互联网金融的罗生门

2015-02-19徐富记

从央行个人征信牌照开闸，到首家互联网银行微众银行给卡车司机发放第一笔贷款，互联网金融的浪潮俨然已从P2P网贷汹涌到众筹，又波涛到大数据征信。

史铁生曾说过：“历史在发生时未被发现，在发现时已被重组”，正如当下之大数据征信，尽管已悄然发生，但未被发现，而再发现时，却已被改写，局内人的自说自话，局外人的不明觉厉，大数据征信，似乎已成互联网金融的罗生门。

四级征信机构 百花齐放

2015年新年伊始，央行下发《关于做好个人征信业务准备工作的通知》，正式开启个人征信市场化闸门，民营征信迎来元年，以阿里巴巴芝麻信用为代表的基于消费大数据的征信机构、以鹏元征信为代表的基于公共大数据的征信机构和以社交数据作为征信模式的玖富旗下的闪银（we cash）等征信机构纷纷登台亮相。

以目前国内的信用体系，信用数据大致分为国家级、电商级、互联网金融企业级、社交金融级，其中，国家级的信用数据为央行的征信中心和银行等金融机构的信贷数据、各部委的具有公共属性的比如通信、水、电、煤气等公共数据。

电商级的即包括以阿里、京东为代表的消费数据；互联网金融企业级的则如安融惠众、上海资信；社交金融则如闪银等开启的新型征信模式

Building with big data 数据时代

The data revolution is changing the landscape of business 数据革命正在重塑商业格局

IN A short story called “On Exactitude in Science”, Jorge Luis Borges described an empire in which cartographers became so obsessive that they produced a map as big as the empire itself. This was so cumbersome that future generations left it to disintegrate. (“*I+n the western deserts, tattered fragments of the map are still to be found, sheltering some occasional beast or beggar.”)

博尔赫斯在短篇故事《关于科学的精确性》中写道：帝国的制图

1、 当前大数据技术的基础是由（ C）首先提出的。 （单选题，本题2分） A：微软 B：百度 C：谷歌 D：阿里巴巴

2、 大数据的起源是（C ）。 （单选题，本题2分） A：金融 B：电信 C：互联网 D：公共管理

3、 根据不同的业务需求来建立数据模型，抽取最有意义的向量，决定选取哪种方法的数据分析角色人员是 （ C）。 （单选题，本题2分） A：数据管理人员 B：数据分析员 C：研究科学家 D：软件开发工程师

4、 （D ）反映数据的精细化程度，越细化的数据，价值越高。 （单选题，本题2分） A：规模 B：活性 C：关联度 D：颗粒度

5、 数据清洗的方法不包括（ D）。 （单选题，本题2分） A：缺失值处理 B：噪声数据清除 C：一致性