数据仓库是一种

一种可靠的数据仓库中!"#策略与架构设计

尤玉林

张宪民

（上海交通大学图像处理与模式识别研究所，上海!"""@"）

&A-912：B2CB.0D;E50$730$=,

摘

要

作为数据仓库系统的关键部件，清洗、转换和装载的工作，它是构建数据仓库的重要环节，&’(完成数据抽取、

同时也是构建数据仓库过程中出现问题最多的环节，所以针对这点，该文给出了一个可靠的同时易于扩展的&’(策略和架构。文章首先简单地介绍了数据仓库技术和&’(技术，包括&’(的相关概念、&’(在数据仓库中的功能和重要地位；然后重点介绍了这种&’(的具体策略和架构设计。关键词

数据仓库

&’(数据抽取数据转换数据清洗数据装载

中图分类号’I@%%$%@

文章编号%""!AF@@%A（!""#）%"A"%G!A"@文献标识码H

$%&’()*’&+,-),&./)012&3(.045$-67(,&6,8-&45

!"#(02),)9)-&7483&

:4

一种可靠的数据仓库中!"#策略与架构设计

尤玉林

张宪民

（上海交通大学图像处理与模式识别研究所，上海!"""@"）

&A-912：B2CB.0D;E50$730$=,

摘

要

作为数据仓库系统的关键部件，清洗、转换和装载的工作，它是构建数据仓库的重要环节，&’(完成数据抽取、

同时也是构建数据仓库过程中出现问题最多的环节，所以针对这点，该文给出了一个可靠的同时易于扩展的&’(策略和架构。文章首先简单地介绍了数据仓库技术和&’(技术，包括&’(的相关概念、&’(在数据仓库中的功能和重要地位；然后重点介绍了这种&’(的具体策略和架构设计。关键词

数据仓库

&’(数据抽取数据转换数据清洗数据装载

中图分类号’I@%%$%@

文章编号%""!AF@@%A（!""#）%"A"%G!A"@文献标识码H

$%&’()*’&+,-),&./)012&3(.045$-67(,&6,8-&45

!"#(02),)9)-&7483&

:4

数据仓库技术是基于信息系统业务发展的需要,基于数据库系统技术发展而来,并逐步独立的一系列新的应用技术。

数据仓库

目 录

数据仓库................................................................................................................... 1

目 录 ........................................................................................................................ 1

1.1 产生背景............................................................................................................ 2

1.2 定义....................................................................................................

Facebook数据仓库揭秘：RCFile高效存储结构

本文介绍了Facebook公司数据分析系统中的RCFile存储结构，该结构集行存储和列存储的优点于一身，在MapReduce环境下的大规模数据分析中扮演重要角色。

Facebook曾在2010 ICDE（IEEE International Conference on Data Engineering）会议上介绍了数据仓库Hive。Hive存储海量数据在Hadoop系统中，提供了一套类数据库的数据存储和处理机制。它采用类 SQL语言对数据进行自动化管理和处理，经过语句解析和转换，最终生成基于Hadoop的MapReduce任务，通过执行这些任务完成数据处理。图1显 示了Hive数据仓库的系统结构。

图1 Hive数据仓库的系统结构

基于MapReduce的数据仓库在超大规模数据分析中扮演了重要角色，对于典型的Web服 务供应商，这些分析有助于它们快速理解动态的用户行为及变化的用户需求。数据存储结构是影响数据仓库性能的关键因素之一。Hadoop系统中常用的文件存 储格式有支持文本的TextFile和支持二进制的SequenceFile等，它们都属于行存储方式。Facebook工程师发表的

Facebook数据仓库揭秘：RCFile高效存储结构

本文介绍了Facebook公司数据分析系统中的RCFile存储结构，该结构集行存储和列存储的优点于一身，在MapReduce环境下的大规模数据分析中扮演重要角色。

Facebook曾在2010 ICDE（IEEE International Conference on Data Engineering）会议上介绍了数据仓库Hive。Hive存储海量数据在Hadoop系统中，提供了一套类数据库的数据存储和处理机制。它采用类 SQL语言对数据进行自动化管理和处理，经过语句解析和转换，最终生成基于Hadoop的MapReduce任务，通过执行这些任务完成数据处理。图1显 示了Hive数据仓库的系统结构。

图1 Hive数据仓库的系统结构

基于MapReduce的数据仓库在超大规模数据分析中扮演了重要角色，对于典型的Web服 务供应商，这些分析有助于它们快速理解动态的用户行为及变化的用户需求。数据存储结构是影响数据仓库性能的关键因素之一。Hadoop系统中常用的文件存 储格式有支持文本的TextFile和支持二进制的SequenceFile等，它们都属于行存储方式。Facebook工程师发表的

微软数据仓库介绍

Moulde Int1rdocuito ton Dat Waarehuosngi

微软数据仓库介绍

oMudle Oervvewi 数据仓库述 概 考 虑据数仓库决解案方

微软数据仓库介绍

Lesso 1:n数据仓库 概述 商难业 题什 么是数仓据库？ 数据 仓库构 架 数据库仓决解案方组 数据仓库件项 目据仓数项库目角色 SQ LerverS作 数为据仓库平

微软数据仓库介绍

台业难题务?

关键 务数据分业在布个业务系统多 找到业务 决策的信是息耗时的和容出易错的 基 的本务问业很题回答

难

微软数据仓库介绍

hWa Is a tDat Waaehouser

? 一集中存个放用报于和数据表信息的器容

常，通一数据个仓:库 含包大量的史历数据优 了化数据询查(而 不是插入更新)和

期定载新加业的务据数企业为务智商解能方决案提依据

微软数据仓库介绍

供DaatWa ehourse Acrhitctuere

Csetrnlizaed aDt aWaehorus

eubHan Spokd Departemntael aDatM atrC

微软数据仓库介绍

moonents po a Dfaa tWreahuoisg nolut

自渡是一种能力，渡人是一种格局！弱者互撕，难行寸步。强者搭桥，渡人渡己。人与人之间最好的关系，就是彼此成就。

人生在世，皆在渡人，渡人如自渡，自渡亦在渡人。

自渡，是一种能力，渡人是一种格局，一种修行。

做人的最高境界便是自渡，渡自己者，得心安；渡人者，得人心。

生命总是起起伏伏，人生之路也是坎坎坷坷，三起三落。

人的一生中总会遇到很多磨难和困惑，与其等待他人的帮助，不如做自己的摆渡人。

正所谓：“万般皆苦，唯有自渡。”

在生活中不必逢人诉苦，不必显露伤痕，做好自己即可。

自己的苦，自己承担；自己的泪，自己咽下。

人世间的一切悲欢离合，皆如人饮水，冷暖自知。

有这样一则小故事：

一位年轻人心里苦闷，寻找禅师开解，禅师听完他的一番话，沉默不语，只是一味的往他前面的茶杯倒水。

年轻人说道：“满了，满了，无需再倒了。”

禅师缓缓道来：“你的心如同这个水杯，里面装满了自己的观点和想法，让我如何跟你说禅呢？”

很多时候，我们遇到问题，总是急于寻求他人帮助，却忘了核心在于自己。

想要别人解救自己，首先要学会自渡。

正如《道德经》中所说的：“天雨大，不润无根之草；道法宽，只渡有缘人。”

天不渡人，人需自渡，只有自己不放弃自己，才能得到他人的帮助和上天的垂怜。

《了凡四训》里讲：“命自我立，福

数据仓库的设计与实现

第1章 数据仓库的设计与实现

1.1数据仓库设计过程

数据仓库的设计一般从操作型数据开始，通常需要经过以下几个处理过程；数据仓库设计——数据抽取——数据管理。

一、数据仓库设计

根据决策主题设计数据仓库结构，一般采用星型和雪花模型设计其数据模型，在设计过程中应保证数据仓库的规范化和体系各元素的必要联系。

二、数据抽取

根据元数据库中的主题表定义、数据源定义、数据抽取规则定义对异地异构数据源进行清理、转换、对数据进行重新组织和加工，装载到数据仓库的目标库中。

三、数据管理

数据管理分为目标数据维护和元数据维护两方面。目标数据维护是根据元数据为所定义的更新频率、更新数据项等更新计划任务来刷新数据仓库，以反映数据源的变化，且对时间相关性进行处理。元数据是数据仓库的组成部分，元数据的质量决定整个数据仓库的质量。当数据源的运行环境、结构及目标数据的维护计划发生变化时，需要修改元数据。

1.2需求分析与决策主题的选取

通过对管理者和各级别的用户的数据分析需求进行调研，我们收集并整理出了用户的决策分析需求如下：

1.2.1 博士学位授予信息年度数据统计分析

一、按主管部门统计

从主管部门的角度，分析在一个时间段（年）内，各主管部门所授

《数据仓库与数据挖掘》作业3

(2015年5月11日前完成)

基本概念（5分）

一、有一销售管理系统，存在如下实体：客户、地区、商品、订单、订单明细，

其具体情况如下：

客户：属性包括：客户编码、客户名称、联系地址 地区：属性包括：地区编号、地区名称 商品：属性包括：商品编号、商品名称、规格

订单：属性包括：订单编号、订单日期、交货日期、订单总金额 订单明细：订单明细号、单价、数量

其语义是：一个客户只属于一个地区，一个地区有多个客户；一个客户可以有多个订单，一个订单只属于一个客户；一个订单有多个订单明细项，一个明细项只属于一个订单；一个明细中只包含一种商品，一种商品可以属于多个订单明细。

1、画出上述系统的E-R图。

2、将E-R图转化为逻辑模型，并标明其主码和外码。（要求一对多的联系合并） 3、根据你建立的逻辑模型，以合理的方式补充数据。

数据仓库建设方案（20分）

二、根据题一所示业务系统结构和数据，构建一个OLAP系统，请：

1、按照星形模型建立数据仓库结构，使之能够分别按地区、商品、日期进行联

机分析处理。

2、写出从业务系统中将数据导入数据仓库的算法。

3、结合上课实例，编写出能按不同维度进行多维分析的程序代码（有界面）。

一、实验内容和目的

目的：

1．理解维（表）、成员、层次（粒度）等基本概念及其之间的关系；

2．理解多维数据集创建的基本原理与流程；

3．理解并掌握OLAP分析的基本过程与方法；

内容：

1．运用Analysis Server工具进行维度、度量值以及多维数据集的创建（模拟案例）。

2．使用维度浏览器进行多维数据的查询、编辑操作。

3．对多维数据集进行切片、切块、旋转、钻取操作。

二、所用仪器、材料（设备名称、型号、规格等）

操作系统平台：Windows 7

数据库平台：SQL Server 2008 SP2

三、实验原理

在数据仓库系统中，联机分析处理（OLAP）是重要的数据分析工具。OLAP的基本思想是企业的决策者应能灵活地、从多方面和多角度以多维的形式来观察企业的状态和了解企业的变化。

OLAP是在OLTP的基础上发展起来的，OLTP是以数据库为基础的，面对的是操作人员和低层管理人员，对基本数据的查询和增、删、改等进行处理。而OLAP是以数据仓库为基础的数据分析处理。它具有在线性（online）和多维分析（multi-dimension analysis）的特点。OLAP超越了一般查询和报表的功能，是建立在一般事务操作之上的另外一种逻辑步骤，因此，它的决策支持能力更