数据仓库的基本架构是什么

数据仓库的目的是构建面向分析的集成化数据环境，为企业提供决策支持（Decision Support）。其实数据仓库本身并不“生产”任何数据，同时自身也不需要“消费”任何的数据，数据来源于外部，并且开放给外部应用，这也是为什么叫“仓库”，而不叫“工厂”的原因。因此数据仓库的基本架构主要包含的是数据流入流出的过程，可以分为三层——源数据、数据仓库、数据应用：

从图中可以看出数据仓库的数据来源于不同的源数据，并提供多样的数据应用，数据自上而下流入数据仓库后向上层开放应用，而数据仓库只是中间集成化数据管理的一个平台。

数据仓库从各数据源获取数据及在数据仓库内的数据转换和流动都可以认为是ETL（抽取Extra, 转化Transfer, 装载Load）的过程，ETL是数据仓库的流水线，也可以认为是数据仓库的血液，它维系着数据仓库中数据的新陈代谢，而数据仓库日常的管理和维护工作的大部分精力就是保持ETL 的正常和稳定。

下面主要简单介绍下数据仓库架构中的各个模块，当然这里所介绍的数据仓库主要是指网站数据仓库。

数据仓库的数据来源

其实之前的一篇文章已经介绍过数据仓库各种源数据的类型——，所以这里不再详细介绍。

对于网站数据仓库而言，点击流日志是一块主要的数据来源，它是

数据仓库（商业智能）/ETL架构师面试题（20150510）

数据仓库（商业智能）/ETL架构师面试题

1. What is a logical data mapping and what does it mean to the ETL team?

什么是逻辑数据映射？它对ETL项目组的作用是什么？ 答：

逻辑数据映射（Logical Data Map）用来描述源系统的数据定义、目标数据仓库的模型以及将源系统的数据转换到数据仓库中需要做操作和处理方式的说明文档，通常以表格或Excel的格式保存如下的信息： 目标表名： 目标列名：

目标表类型：注明是事实表、维度表或支架维度表。 SCD类型：对于维度表而言。

源数据库名：源数据库的实例名，或者连接字符串。 源表名： 源列名：

转换方法：需要对源数据做的操作，如Sum(amount)等。

逻辑数据映射应该贯穿数据迁移项目的始终，在其中说明了数据迁移中的ETL策略。在进行物理数据映射前进行逻辑数据映射对ETL项目组是重要的，它起着元数据的作用。项目中最好选择能生成逻辑数据映射的数据迁移工具。

2. What are the primary goals of the data discovery ph

数据仓库技术是基于信息系统业务发展的需要,基于数据库系统技术发展而来,并逐步独立的一系列新的应用技术。

数据仓库

目 录

数据仓库................................................................................................................... 1

目 录 ........................................................................................................................ 1

1.1 产生背景............................................................................................................ 2

1.2 定义....................................................................................................

电子病历基本架构与数据标准 附录一

电子病历基本内容架构图

征求意见稿

卫生部信息化工作领导小组办公室 卫生部卫生信息标准专业委员会

二○○九年七月

目 录

第一章 电子病历基本内容架构 .................................................................................. 3

第一节 图例 ......................................................................................................... 3 第二节 电子病历基本内容架构总图 ................................................................. 4 第三节 病历概要 ................................................................................................. 5 第四节 门（急）诊治疗处置记录 ...................

电子病历基本架构与数据标准 附录一

电子病历基本内容架构图

征求意见稿

卫生部信息化工作领导小组办公室 卫生部卫生信息标准专业委员会

二○○九年七月

目 录

第一章 电子病历基本内容架构 .................................................................................. 3

第一节 图例 ......................................................................................................... 3 第二节 电子病历基本内容架构总图 ................................................................. 4 第三节 病历概要 ................................................................................................. 5 第四节 门（急）诊治疗处置记录 ...................

Facebook数据仓库揭秘：RCFile高效存储结构

本文介绍了Facebook公司数据分析系统中的RCFile存储结构，该结构集行存储和列存储的优点于一身，在MapReduce环境下的大规模数据分析中扮演重要角色。

Facebook曾在2010 ICDE（IEEE International Conference on Data Engineering）会议上介绍了数据仓库Hive。Hive存储海量数据在Hadoop系统中，提供了一套类数据库的数据存储和处理机制。它采用类 SQL语言对数据进行自动化管理和处理，经过语句解析和转换，最终生成基于Hadoop的MapReduce任务，通过执行这些任务完成数据处理。图1显 示了Hive数据仓库的系统结构。

图1 Hive数据仓库的系统结构

基于MapReduce的数据仓库在超大规模数据分析中扮演了重要角色，对于典型的Web服 务供应商，这些分析有助于它们快速理解动态的用户行为及变化的用户需求。数据存储结构是影响数据仓库性能的关键因素之一。Hadoop系统中常用的文件存 储格式有支持文本的TextFile和支持二进制的SequenceFile等，它们都属于行存储方式。Facebook工程师发表的

Facebook数据仓库揭秘：RCFile高效存储结构

本文介绍了Facebook公司数据分析系统中的RCFile存储结构，该结构集行存储和列存储的优点于一身，在MapReduce环境下的大规模数据分析中扮演重要角色。

Facebook曾在2010 ICDE（IEEE International Conference on Data Engineering）会议上介绍了数据仓库Hive。Hive存储海量数据在Hadoop系统中，提供了一套类数据库的数据存储和处理机制。它采用类 SQL语言对数据进行自动化管理和处理，经过语句解析和转换，最终生成基于Hadoop的MapReduce任务，通过执行这些任务完成数据处理。图1显 示了Hive数据仓库的系统结构。

图1 Hive数据仓库的系统结构

基于MapReduce的数据仓库在超大规模数据分析中扮演了重要角色，对于典型的Web服 务供应商，这些分析有助于它们快速理解动态的用户行为及变化的用户需求。数据存储结构是影响数据仓库性能的关键因素之一。Hadoop系统中常用的文件存 储格式有支持文本的TextFile和支持二进制的SequenceFile等，它们都属于行存储方式。Facebook工程师发表的

微软数据仓库介绍

Moulde Int1rdocuito ton Dat Waarehuosngi

微软数据仓库介绍

oMudle Oervvewi 数据仓库述 概 考 虑据数仓库决解案方

微软数据仓库介绍

Lesso 1:n数据仓库 概述 商难业 题什 么是数仓据库？ 数据 仓库构 架 数据库仓决解案方组 数据仓库件项 目据仓数项库目角色 SQ LerverS作 数为据仓库平

微软数据仓库介绍

台业难题务?

关键 务数据分业在布个业务系统多 找到业务 决策的信是息耗时的和容出易错的 基 的本务问业很题回答

难

微软数据仓库介绍

hWa Is a tDat Waaehouser

? 一集中存个放用报于和数据表信息的器容

常，通一数据个仓:库 含包大量的史历数据优 了化数据询查(而 不是插入更新)和

期定载新加业的务据数企业为务智商解能方决案提依据

微软数据仓库介绍

供DaatWa ehourse Acrhitctuere

Csetrnlizaed aDt aWaehorus

eubHan Spokd Departemntael aDatM atrC

微软数据仓库介绍

moonents po a Dfaa tWreahuoisg nolut

介绍了按照POSC 软件集成平台技术进行数据集成、建立数据仓库的方法;数据仓库的总体结构是以POSC数据平台为基础,并基于Epicentre 的多维数据结构;数据集成是从源数据库中抽取数据,根据映射关系,自动把数据调整并加载到POSC 数据仓中;采用4 层结构的元数据模型,实现了可扩充性强的资源管理;按照主题建立的数据集市提供了多策略的数据挖掘手段.

大庆石油学院学报

JOURNALOFDAQINGPETROLEUMINSTITUTE第26卷　第1期　2002年3月Vol.26　　No.1　　Mar.　2002

基于POSC平台的数据仓库

文必龙1,刘贤梅1,郭立君1,张剑光2,苏　斐1

(11大庆石油学院计算机科学系,黑龙江安达　151400;　21大庆石化总厂仪表修造厂,黑龙江大庆　163714)

　　摘　要:介绍了按照POSC软件集成平台技术进行数据集成、建立数据仓库的方法;数据仓库的总体结构是以POSC

数据平台为基础,并基于Epicentre的多维数据结构;数据集成是从源数据库中抽取数据,根据映射关系,自动把数据调整

并加载到POSC数据仓中;采用4层结构的元数据模型,实现了可扩充性强的资源管理;按照主题建立的数据集市提供了

多策略的数据挖掘手段.

一种可靠的数据仓库中!"#策略与架构设计

尤玉林

张宪民

（上海交通大学图像处理与模式识别研究所，上海!"""@"）

&A-912：B2CB.0D;E50$730$=,

摘

要

作为数据仓库系统的关键部件，清洗、转换和装载的工作，它是构建数据仓库的重要环节，&’(完成数据抽取、

同时也是构建数据仓库过程中出现问题最多的环节，所以针对这点，该文给出了一个可靠的同时易于扩展的&’(策略和架构。文章首先简单地介绍了数据仓库技术和&’(技术，包括&’(的相关概念、&’(在数据仓库中的功能和重要地位；然后重点介绍了这种&’(的具体策略和架构设计。关键词

数据仓库

&’(数据抽取数据转换数据清洗数据装载

中图分类号’I@%%$%@

文章编号%""!AF@@%A（!""#）%"A"%G!A"@文献标识码H

$%&’()*’&+,-),&./)012&3(.045$-67(,&6,8-&45

!"#(02),)9)-&7483&

:4