hadoop环境搭建教程

基于Hadoop的大数据试验环境搭建

目录

1、操作系统搭建及网络拓扑图 ........................................................... 错误！未定义书签。 1.1、操作系统版本 .............................................................................................................. 3 1.2、硬件配置 ...................................................................................................................... 3 1.3、系统账户 ...................................................................................................................... 4 1.4、系统安装 .............................

题目：Hadoop完全分布式环境下的网盘项目 姓名：王宏磊 学号：201500800546专业:软件工程 班级：15-01班 手机：17863087272 姓名：苗纯源学号：201500800524专业:软件工程 班级：15-01班 手机：17863085895 项目 起评分 流畅性 美观性 回答问题 安装步骤 编程风格 要求 达到题目基本要求 程序运行过程完整流畅，能清楚说明问题 程序界面美观舒适 能正确回答老师就代码和程序设计的问题 清晰明了 程序书写正规，程序注释完整规范 满分 50 10 10 10 10 10 总评 实际得分 Part1、安装说明

一、虚拟机和linux系统的安装

我们选择的虚拟机是VMware Workstation Pro14.0，linux系统的版本是CentOS-6.6-x86_64-bin-DVD1.iso

(1) 安装虚拟机，运行VMware Workstation Pro14.0，选择合适的安装路径，从网

上找到该版本虚拟机的注册码，输入后一直点下一步直到安装完成即可。

1 / 53

(2) 安装linux系统，打开虚拟机，点击文件->新建虚拟机，选择自定义

题目：Hadoop完全分布式环境下的网盘项目 姓名：王宏磊 学号：201500800546专业:软件工程 班级：15-01班 手机：17863087272 姓名：苗纯源学号：201500800524专业:软件工程 班级：15-01班 手机：17863085895 项目 起评分 流畅性 美观性 回答问题 安装步骤 编程风格 要求 达到题目基本要求 程序运行过程完整流畅，能清楚说明问题 程序界面美观舒适 能正确回答老师就代码和程序设计的问题 清晰明了 程序书写正规，程序注释完整规范 满分 50 10 10 10 10 10 总评 实际得分 Part1、安装说明

一、虚拟机和linux系统的安装

我们选择的虚拟机是VMware Workstation Pro14.0，linux系统的版本是CentOS-6.6-x86_64-bin-DVD1.iso

(1) 安装虚拟机，运行VMware Workstation Pro14.0，选择合适的安装路径，从网

上找到该版本虚拟机的注册码，输入后一直点下一步直到安装完成即可。

1 / 53

(2) 安装linux系统，打开虚拟机，点击文件->新建虚拟机，选择自定义

1、hadoop版本认识

截至目前（2012年12月23日），Apache Hadoop版本分为两代，我们将第一代Hadoop称为Hadoop 1.0，第二代Hadoop称为Hadoop 2.0。第一代Hadoop包含三个大版本，分别是0.20.x，0.21.x和0.22.x，其中，0.20.x最后演化成1.0.x，变成了稳定版，而0.21.x和0.22.x则支持NameNode HA等新的重大特性。第二代Hadoop包含两个版本，分别是0.23.x和2.x，它们完全不同于Hadoop 1.0，是一套全新的架构，均包含HDFS Federation和YARN两个系统，相比于0.23.x，2.x增加了NameNode HA和Wire-compatibility两个重大特性。

1版本：主要基于原来的技术的升级和发展，同时支持其它技术的支持。如果想用hbase、hive等技术就只有选择版本1。 2版本：主要基于新技术的推广发展，如果只是基于hadoop开发，这个是一个很好的选择。

2、hadoop-1.2.1软件包的认识

bin目录：包含进行hadoop配置、运行以及管理的命令集合。 conf目录：包含配置和运行hadoop环境需要的配置文件以及

centos6.4 下搭建hadoop平台

Hadoop平台搭建方案

centos6.4 下搭建hadoop平台

一、Hadoop简介

Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统（HDFS，Hadoop Distributed Filesystem）和MapReduce（Google MapReduce的开源实现）为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。

对于Hadoop的集群来讲，可以分成两大类角色：Master和Salve。一个HDFS集群是由一个NameNode和若干个DataNode组成的。其中NameNode作为主服务器，管理文件系统的命名空间和客户端对文件系统的访问操作；集群中的DataNode管理存储的数据。MapReduce框架是由一个单独运行在主节点上的JobTracker和运行在每个集群从节点的TaskTracker共同组成的。主节点负责调度构成一个作业的所有任 务，这些任务分布在不同的从节点上。主节点监控它们的执行情况，并且重新执行之前的失败任务；从节点仅负责由主节点指派的任务。当一个Job被提交 时，JobTracker接收到提交作业和配置信息之后，就

第一篇主要是整体的步骤，其实中间遇到很多问题，第二篇将遇到的问题全部列举下来： 1.1包不能加载警告

WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

hadoop2.5.1官网上提供的已经是64位操作系统版本，但是仍然报这个错误

1.1.1测试本地库

[root@cluster3 ~]# export HADOOP_ROOT_LOGGER=DEBUG,console

[root@cluster3 script]# hadoop fs -text /usr/local/script/hdfile1.txt 14/11/01 10:58:15 DEBUG util.NativeCodeLoader: Failed to load native-hadoop with error:

java.lang.UnsatisfiedLinkError:

/usr/local/hadoop/hadoop-2.5.1/lib/native/

大数据培训教程Hadoop的mapreduce搭建-北京尚学堂

北京尚学堂提供 Hadoop的

mapreduce搭建

MapReduce

首先是spliting吧一个块切割成各种小的

MapReduce的split大小

Max.split(100M)

Min.split(10M)

Block(64M)

Max(min.split, min(max.split,block))

MapReduce的架构

主多从结构

主JobTracker:

负责调度分配每个子任务taskTracker上，如果发现有失败的task就重新分配其任务到其他节点，每个hadoop集群中只一个JobTracker一般它运行在Master节点上（也就是secondaryNode） 从TaskTracker

Tasktracker主动与JobTracker通信，接收作业，并负责直接执行每一个任务，为了减少网络带宽TaskTracker最好运行在HDFS的datanode上

开始搭建

我们随意指定一台机器为主JobTracker

我们用node2作为JobTracker

修改配置文件

北京尚学堂-cctv央视网广告合作伙伴，专业IT培训机构,口碑最好的java培训、iOS培训、android培训、hadoop

大数

Centos7 搭建Hadoop

1.jdk安装（http://www.webkfa.com/one1/w288.html） 下载安装java jdk1.8.0_65 1）在 /home 下将jdk进行解压

#tar -xzvf jdk1.8.0_65.tar.gz jdk-8u111-linux-x64.tar.gz 当时rpm时，利用下面的命令 #chmod 777 jdk-8u11-linux-x64.rpm #rpm -i jdk-8u11-linux-x64.rpm

如果将目录重新命名。可利用下面命令 # mv jdk1.8.0_65 jdk 2)环境变量配置 #vi /etc/profile 输入以下内容：

export HBASE_HOME=/home/jdk export PATH=$HBASE_HOME/bin:$PATH 当不知道放在那儿时利用命令 #find / -name java

我的是利用rpm包安装的，所以配置环境变量如下

验证：#source /etc/profile #javac -verison

#java -version 2.ssh免密码验证

(http://blog.csdn

Centos7 搭建Hadoop

1.jdk安装（http://www.webkfa.com/one1/w288.html） 下载安装java jdk1.8.0_65 1）在 /home 下将jdk进行解压

#tar -xzvf jdk1.8.0_65.tar.gz jdk-8u111-linux-x64.tar.gz 当时rpm时，利用下面的命令 #chmod 777 jdk-8u11-linux-x64.rpm #rpm -i jdk-8u11-linux-x64.rpm

如果将目录重新命名。可利用下面命令 # mv jdk1.8.0_65 jdk 2)环境变量配置 #vi /etc/profile 输入以下内容：

export HBASE_HOME=/home/jdk export PATH=$HBASE_HOME/bin:$PATH 当不知道放在那儿时利用命令 #find / -name java

我的是利用rpm包安装的，所以配置环境变量如下

验证：#source /etc/profile #javac -verison

#java -version 2.ssh免密码验证

(http://blog.csdn

Linux Red Hat 6.4下 Nginx + Mysql + PHP

服务器环境搭建

系统平台：RHEL 6.4 Nginx版本：nginx-1.1.8 Mysql版本：5.1.59 PHP版本：php-5.2.17

安装准备

在安装Linux操作系统时添加如下几个包，不然无法使用源码安装

关于依赖包的问题：

用 rpm -qa | grep 依赖包名

查看是否安装了改该包，然后安装其相应的devel文件即可 比如：

#rpm -qa | grep libxxx libxxx-1.0.0.el6.x86_64 其devel包的名字为

libxxx-devel-1.0.0.el6.x86_64

1.安装libiconv

#tar zxvf libiconv-1.13.tar.gz #cd libiconv-1.13/

#./configure --prefix=/usr/local #make

#make install cd ../

2.安装libmcrypt 实现加密功能的库

# tar zxvf libmcrypt-2.5.8.tar.gz # cd libmcrypt-2.5.8/ # ./configure # m