数据仓库课程设计报告

运用数据仓库的知识,通过SPSS Modeler对福布斯排行榜进行数据挖掘并分析结果。

GDOU-B-11-112

广东海洋大学学生实验报告书（学生用表）

实验名称 关于福布斯排行榜的数据挖掘 课程名称 数据仓库设计与应用 课程号 学院(系)

学生姓名

信息学院 刘霆钧 赵小缘 专业 信息管理与信息系统 班级 信管1124 2015年11实验日期 月28日 201211671416 学号实验地点 科技楼

关于福布斯排行榜的数据挖掘

一、实验目的

（1） 了解数据挖掘中的聚类分析；

（2） 充分了解IBM SPSS Modeler的数据挖掘能力；

二、实验目标

（1） 理解聚类分析的概念；

（2） 对福布斯排行榜的数据（源数据来源：福布斯中文网，经过加工整理）进行聚类

分析，掌握SPSS软件进行数据挖掘的常用步骤；

（3） 了解聚类分析中各个数据模型的内涵和意义。

三、实验内容及结果

1. 用自己的话概括 数据挖掘中的聚类分析 概念。

答：聚类分析是将一组对象分成若干类，想同类中的对象具有相似性，不同类中的对象相异性较大。聚类与分类不同的是后者不依赖给定的标准给对象进行分类。

2. 使用“福布斯排行榜”数据进行数据挖掘分析。

根据2010年至2015年福布斯企业排行榜50强在Exc

《数据仓库与数据挖掘》大作业

院（系）名称 专 业 年 级 学学

生

姓

号 名

信息技术学院 10级电子商务 101144054

张泽果

目 录

第1章 数据仓库和数据挖掘简介 .......................................... 1

1.1数据仓库的概念 .................................................. 1 1.2数据挖掘引论 .................................................... 1

1.2.1 数据挖掘的作用 ............................................ 1 1.2.2数据挖掘对企业的影响 ....................................... 2 1.2.3数据挖掘概念 ............................................... 3 1.3数据挖掘与数据仓库的关系 ........................................ 4 1.4 数据仓库与数据挖掘的区别 ..........

数据仓库技术是基于信息系统业务发展的需要,基于数据库系统技术发展而来,并逐步独立的一系列新的应用技术。

数据仓库

目 录

数据仓库................................................................................................................... 1

目 录 ........................................................................................................................ 1

1.1 产生背景............................................................................................................ 2

1.2 定义....................................................................................................

数据仓库的设计与实现

第1章 数据仓库的设计与实现

1.1数据仓库设计过程

数据仓库的设计一般从操作型数据开始，通常需要经过以下几个处理过程；数据仓库设计——数据抽取——数据管理。

一、数据仓库设计

根据决策主题设计数据仓库结构，一般采用星型和雪花模型设计其数据模型，在设计过程中应保证数据仓库的规范化和体系各元素的必要联系。

二、数据抽取

根据元数据库中的主题表定义、数据源定义、数据抽取规则定义对异地异构数据源进行清理、转换、对数据进行重新组织和加工，装载到数据仓库的目标库中。

三、数据管理

数据管理分为目标数据维护和元数据维护两方面。目标数据维护是根据元数据为所定义的更新频率、更新数据项等更新计划任务来刷新数据仓库，以反映数据源的变化，且对时间相关性进行处理。元数据是数据仓库的组成部分，元数据的质量决定整个数据仓库的质量。当数据源的运行环境、结构及目标数据的维护计划发生变化时，需要修改元数据。

1.2需求分析与决策主题的选取

通过对管理者和各级别的用户的数据分析需求进行调研，我们收集并整理出了用户的决策分析需求如下：

1.2.1 博士学位授予信息年度数据统计分析

一、按主管部门统计

从主管部门的角度，分析在一个时间段（年）内，各主管部门所授

Facebook数据仓库揭秘：RCFile高效存储结构

本文介绍了Facebook公司数据分析系统中的RCFile存储结构，该结构集行存储和列存储的优点于一身，在MapReduce环境下的大规模数据分析中扮演重要角色。

Facebook曾在2010 ICDE（IEEE International Conference on Data Engineering）会议上介绍了数据仓库Hive。Hive存储海量数据在Hadoop系统中，提供了一套类数据库的数据存储和处理机制。它采用类 SQL语言对数据进行自动化管理和处理，经过语句解析和转换，最终生成基于Hadoop的MapReduce任务，通过执行这些任务完成数据处理。图1显 示了Hive数据仓库的系统结构。

图1 Hive数据仓库的系统结构

基于MapReduce的数据仓库在超大规模数据分析中扮演了重要角色，对于典型的Web服 务供应商，这些分析有助于它们快速理解动态的用户行为及变化的用户需求。数据存储结构是影响数据仓库性能的关键因素之一。Hadoop系统中常用的文件存 储格式有支持文本的TextFile和支持二进制的SequenceFile等，它们都属于行存储方式。Facebook工程师发表的

Facebook数据仓库揭秘：RCFile高效存储结构

本文介绍了Facebook公司数据分析系统中的RCFile存储结构，该结构集行存储和列存储的优点于一身，在MapReduce环境下的大规模数据分析中扮演重要角色。

Facebook曾在2010 ICDE（IEEE International Conference on Data Engineering）会议上介绍了数据仓库Hive。Hive存储海量数据在Hadoop系统中，提供了一套类数据库的数据存储和处理机制。它采用类 SQL语言对数据进行自动化管理和处理，经过语句解析和转换，最终生成基于Hadoop的MapReduce任务，通过执行这些任务完成数据处理。图1显 示了Hive数据仓库的系统结构。

图1 Hive数据仓库的系统结构

基于MapReduce的数据仓库在超大规模数据分析中扮演了重要角色，对于典型的Web服 务供应商，这些分析有助于它们快速理解动态的用户行为及变化的用户需求。数据存储结构是影响数据仓库性能的关键因素之一。Hadoop系统中常用的文件存 储格式有支持文本的TextFile和支持二进制的SequenceFile等，它们都属于行存储方式。Facebook工程师发表的

微软数据仓库介绍

Moulde Int1rdocuito ton Dat Waarehuosngi

微软数据仓库介绍

oMudle Oervvewi 数据仓库述 概 考 虑据数仓库决解案方

微软数据仓库介绍

Lesso 1:n数据仓库 概述 商难业 题什 么是数仓据库？ 数据 仓库构 架 数据库仓决解案方组 数据仓库件项 目据仓数项库目角色 SQ LerverS作 数为据仓库平

微软数据仓库介绍

台业难题务?

关键 务数据分业在布个业务系统多 找到业务 决策的信是息耗时的和容出易错的 基 的本务问业很题回答

难

微软数据仓库介绍

hWa Is a tDat Waaehouser

? 一集中存个放用报于和数据表信息的器容

常，通一数据个仓:库 含包大量的史历数据优 了化数据询查(而 不是插入更新)和

期定载新加业的务据数企业为务智商解能方决案提依据

微软数据仓库介绍

供DaatWa ehourse Acrhitctuere

Csetrnlizaed aDt aWaehorus

eubHan Spokd Departemntael aDatM atrC

微软数据仓库介绍

moonents po a Dfaa tWreahuoisg nolut

《数据仓库与数据挖掘》作业3

(2015年5月11日前完成)

基本概念（5分）

一、有一销售管理系统，存在如下实体：客户、地区、商品、订单、订单明细，

其具体情况如下：

客户：属性包括：客户编码、客户名称、联系地址 地区：属性包括：地区编号、地区名称 商品：属性包括：商品编号、商品名称、规格

订单：属性包括：订单编号、订单日期、交货日期、订单总金额 订单明细：订单明细号、单价、数量

其语义是：一个客户只属于一个地区，一个地区有多个客户；一个客户可以有多个订单，一个订单只属于一个客户；一个订单有多个订单明细项，一个明细项只属于一个订单；一个明细中只包含一种商品，一种商品可以属于多个订单明细。

1、画出上述系统的E-R图。

2、将E-R图转化为逻辑模型，并标明其主码和外码。（要求一对多的联系合并） 3、根据你建立的逻辑模型，以合理的方式补充数据。

数据仓库建设方案（20分）

二、根据题一所示业务系统结构和数据，构建一个OLAP系统，请：

1、按照星形模型建立数据仓库结构，使之能够分别按地区、商品、日期进行联

机分析处理。

2、写出从业务系统中将数据导入数据仓库的算法。

3、结合上课实例，编写出能按不同维度进行多维分析的程序代码（有界面）。

一、实验内容和目的

目的：

1．理解维（表）、成员、层次（粒度）等基本概念及其之间的关系；

2．理解多维数据集创建的基本原理与流程；

3．理解并掌握OLAP分析的基本过程与方法；

内容：

1．运用Analysis Server工具进行维度、度量值以及多维数据集的创建（模拟案例）。

2．使用维度浏览器进行多维数据的查询、编辑操作。

3．对多维数据集进行切片、切块、旋转、钻取操作。

二、所用仪器、材料（设备名称、型号、规格等）

操作系统平台：Windows 7

数据库平台：SQL Server 2008 SP2

三、实验原理

在数据仓库系统中，联机分析处理（OLAP）是重要的数据分析工具。OLAP的基本思想是企业的决策者应能灵活地、从多方面和多角度以多维的形式来观察企业的状态和了解企业的变化。

OLAP是在OLTP的基础上发展起来的，OLTP是以数据库为基础的，面对的是操作人员和低层管理人员，对基本数据的查询和增、删、改等进行处理。而OLAP是以数据仓库为基础的数据分析处理。它具有在线性（online）和多维分析（multi-dimension analysis）的特点。OLAP超越了一般查询和报表的功能，是建立在一般事务操作之上的另外一种逻辑步骤，因此，它的决策支持能力更

《数据仓库与数据挖掘》作业3

(2015年5月11日前完成)

基本概念（5分）

一、有一销售管理系统，存在如下实体：客户、地区、商品、订单、订单明细，

其具体情况如下：

客户：属性包括：客户编码、客户名称、联系地址 地区：属性包括：地区编号、地区名称 商品：属性包括：商品编号、商品名称、规格

订单：属性包括：订单编号、订单日期、交货日期、订单总金额 订单明细：订单明细号、单价、数量

其语义是：一个客户只属于一个地区，一个地区有多个客户；一个客户可以有多个订单，一个订单只属于一个客户；一个订单有多个订单明细项，一个明细项只属于一个订单；一个明细中只包含一种商品，一种商品可以属于多个订单明细。

1、画出上述系统的E-R图。

2、将E-R图转化为逻辑模型，并标明其主码和外码。（要求一对多的联系合并） 3、根据你建立的逻辑模型，以合理的方式补充数据。

数据仓库建设方案（20分）

二、根据题一所示业务系统结构和数据，构建一个OLAP系统，请：

1、按照星形模型建立数据仓库结构，使之能够分别按地区、商品、日期进行联

机分析处理。

2、写出从业务系统中将数据导入数据仓库的算法。

3、结合上课实例，编写出能按不同维度进行多维分析的程序代码（有界面）。