大数据hadoop开发环境搭建实验报告

基于Hadoop的大数据试验环境搭建

目录

1、操作系统搭建及网络拓扑图 ........................................................... 错误！未定义书签。 1.1、操作系统版本 .............................................................................................................. 3 1.2、硬件配置 ...................................................................................................................... 3 1.3、系统账户 ...................................................................................................................... 4 1.4、系统安装 .............................

大数据培训教程Hadoop的mapreduce搭建-北京尚学堂

北京尚学堂提供 Hadoop的

mapreduce搭建

MapReduce

首先是spliting吧一个块切割成各种小的

MapReduce的split大小

Max.split(100M)

Min.split(10M)

Block(64M)

Max(min.split, min(max.split,block))

MapReduce的架构

主多从结构

主JobTracker:

负责调度分配每个子任务taskTracker上，如果发现有失败的task就重新分配其任务到其他节点，每个hadoop集群中只一个JobTracker一般它运行在Master节点上（也就是secondaryNode） 从TaskTracker

Tasktracker主动与JobTracker通信，接收作业，并负责直接执行每一个任务，为了减少网络带宽TaskTracker最好运行在HDFS的datanode上

开始搭建

我们随意指定一台机器为主JobTracker

我们用node2作为JobTracker

修改配置文件

北京尚学堂-cctv央视网广告合作伙伴，专业IT培训机构,口碑最好的java培训、iOS培训、android培训、hadoop

大数

龙源期刊网 http://www.qikan.com.cn

使用VMware Esxi和Hadoop进行大数据平台的搭建研究

作者：冯健文

来源：《电脑知识与技术》2017年第09期

摘要：对于VMware Esxi与Hadoop进行大数据平台的搭建，该文主要考虑到实验室的成本以及对于监控集群的方便性的操作，并最大程度的利用机器的性能。同时还要结合Linux系统本身的机制以及文件同步系统来对平台进行快速地搭建，最后进行集群的测试，验证平台的可操作性以及使用性。

关键词：VMware Esxi；Hadoop；大数据平台；研究

互联网与物联网等新技术的快速发展，人们对于数据已经进入了一个爆炸的状态，数据量的增长已经呈现出指数性的增长。因此来说，如何对如此庞大的数据量进行计算成了人们需要面对的一个问题。使用传统的计算模式显然是无法实现的，当前市面上使用比较广泛的一些关系型数据库也不能实现对这些海量数据的存储。此时就需要人们研究一种新的实施方案，来对这些海量的数据进行存储于管理。而Hadoop公司已经实现了谷歌公司的GFS，使用它可以很方便的来处理这些问题。通常情况下，人们都是在分布式的集群上搭建大数据

实验一 搭建开发环境

一、 实验目的

搭建汇编语言的开发环境，熟悉汇编程序开发的基本步骤，掌握基本的调试操作。

二、 实验内容与要求

基于VISUAL STUDIO 平台，结合MASM32的汇编器，构建IA-32汇编语言的开发环境。

三、 仪器、设备

PC机

四、 实验步骤

1) VC6平台下的汇编语言开发环境搭建(使用MASM32的汇编器+VC6)

配置IDE环境：

– 在VC的tools/option/Directories页面中添加Irvine32.inc等所在的目录到include files中; 添加Irvine32.lib等所在的目录到library files.

– 将masm32中的ml.exe和ml.err拷贝到VC的Microsoft Visual Studio\\VC98\\Bin目录中

创建与配置project：

– 新建VC的win32 console类型空工程

– 创建一个asm后缀的文件，并把汇编代码（教材第85页addsub3.asm）输入该文件中，然后将该asm文件添加到Source Files – 选中asm文件，在project settings/Custom Build页面中命令行加： ml /c /

题目：Hadoop完全分布式环境下的网盘项目 姓名：王宏磊 学号：201500800546专业:软件工程 班级：15-01班 手机：17863087272 姓名：苗纯源学号：201500800524专业:软件工程 班级：15-01班 手机：17863085895 项目 起评分 流畅性 美观性 回答问题 安装步骤 编程风格 要求 达到题目基本要求 程序运行过程完整流畅，能清楚说明问题 程序界面美观舒适 能正确回答老师就代码和程序设计的问题 清晰明了 程序书写正规，程序注释完整规范 满分 50 10 10 10 10 10 总评 实际得分 Part1、安装说明

一、虚拟机和linux系统的安装

我们选择的虚拟机是VMware Workstation Pro14.0，linux系统的版本是CentOS-6.6-x86_64-bin-DVD1.iso

(1) 安装虚拟机，运行VMware Workstation Pro14.0，选择合适的安装路径，从网

上找到该版本虚拟机的注册码，输入后一直点下一步直到安装完成即可。

1 / 53

(2) 安装linux系统，打开虚拟机，点击文件->新建虚拟机，选择自定义

Hadoop大数据平台 测试报告及成功案例

目 录

1 2 3 4 5 6 7

技术规范书应答书 ................................. 错误！未定义书签。 技术方案建议 ......................................... 错误！未定义书签。 测试及验收 ............................................. 错误！未定义书签。 项目实施与管理 ..................................... 错误！未定义书签。 人员资质与管理 ..................................... 错误！未定义书签。 技术支持及保修 ..................................... 错误！未定义书签。 附录 ......................................................... 错误！未定义书签。

1

1.1 大数据平台测试报告

1.1.1 某银行Cloudera CDH 性能测试测试

某银行现有HODS在支撑行内业务方面已经遇到瓶颈。希望通

题目：Hadoop完全分布式环境下的网盘项目 姓名：王宏磊 学号：201500800546专业:软件工程 班级：15-01班 手机：17863087272 姓名：苗纯源学号：201500800524专业:软件工程 班级：15-01班 手机：17863085895 项目 起评分 流畅性 美观性 回答问题 安装步骤 编程风格 要求 达到题目基本要求 程序运行过程完整流畅，能清楚说明问题 程序界面美观舒适 能正确回答老师就代码和程序设计的问题 清晰明了 程序书写正规，程序注释完整规范 满分 50 10 10 10 10 10 总评 实际得分 Part1、安装说明

一、虚拟机和linux系统的安装

我们选择的虚拟机是VMware Workstation Pro14.0，linux系统的版本是CentOS-6.6-x86_64-bin-DVD1.iso

(1) 安装虚拟机，运行VMware Workstation Pro14.0，选择合适的安装路径，从网

上找到该版本虚拟机的注册码，输入后一直点下一步直到安装完成即可。

1 / 53

(2) 安装linux系统，打开虚拟机，点击文件->新建虚拟机，选择自定义

1、hadoop版本认识

截至目前（2012年12月23日），Apache Hadoop版本分为两代，我们将第一代Hadoop称为Hadoop 1.0，第二代Hadoop称为Hadoop 2.0。第一代Hadoop包含三个大版本，分别是0.20.x，0.21.x和0.22.x，其中，0.20.x最后演化成1.0.x，变成了稳定版，而0.21.x和0.22.x则支持NameNode HA等新的重大特性。第二代Hadoop包含两个版本，分别是0.23.x和2.x，它们完全不同于Hadoop 1.0，是一套全新的架构，均包含HDFS Federation和YARN两个系统，相比于0.23.x，2.x增加了NameNode HA和Wire-compatibility两个重大特性。

1版本：主要基于原来的技术的升级和发展，同时支持其它技术的支持。如果想用hbase、hive等技术就只有选择版本1。 2版本：主要基于新技术的推广发展，如果只是基于hadoop开发，这个是一个很好的选择。

2、hadoop-1.2.1软件包的认识

bin目录：包含进行hadoop配置、运行以及管理的命令集合。 conf目录：包含配置和运行hadoop环境需要的配置文件以及

Java开发环境的搭建包括三个部分： 1、JDK下载、安装及配置 2、MySql的下载、安装及配置

3、应用服务器（App Server）的下载、安装及配置

一、 JDK下载、安装及配置：

JDK是整个Java的核心，包括了Java运行环境（Java Runtime Envirnment）,一堆Java工具和Java基础的类库（rt.jar）。

第一步：下载

JDK的一个常用版本J2SE(Java2 SDK Standard Edition)可以从Sun的Java网站上下载到：http://java.sun.com/j2se/downloads.html，我们建议下载最新版本的。当前最新版本为:J2SE 5.0 JDK。

第二步：安装

下载好的JDK是一个可执行安装程序，执行安装即可。安装完成在安装目录下会有jdk1.5.0和jre1.5.0两个文件夹。

第三步：设置环境变量

打开“我的电脑 -> 属性 -> 高级 -> 环境变量 -> 系统变量”，设置以下三个变量：

JAVA_HOME= 如：我的为：E:/Program Files/Java/jdk1.5.0 CLASSPATH=.

Path=<原Path>;如：我的为：

Java开发环境的搭建包括三个部分： 1、JDK下载、安装及配置 2、MySql的下载、安装及配置

3、应用服务器（App Server）的下载、安装及配置

一、 JDK下载、安装及配置：

JDK是整个Java的核心，包括了Java运行环境（Java Runtime Envirnment）,一堆Java工具和Java基础的类库（rt.jar）。

第一步：下载

JDK的一个常用版本J2SE(Java2 SDK Standard Edition)可以从Sun的Java网站上下载到：http://java.sun.com/j2se/downloads.html，我们建议下载最新版本的。当前最新版本为:J2SE 5.0 JDK。

第二步：安装

下载好的JDK是一个可执行安装程序，执行安装即可。安装完成在安装目录下会有jdk1.5.0和jre1.5.0两个文件夹。

第三步：设置环境变量

打开“我的电脑 -> 属性 -> 高级 -> 环境变量 -> 系统变量”，设置以下三个变量：

JAVA_HOME= 如：我的为：E:/Program Files/Java/jdk1.5.0 CLASSPATH=.

Path=<原Path>;如：我的为：