hadoop集群搭建

这里我们搭建一个由三台机器组成的集群：

172.16.77.15 aboutyun/123456 master 172.16.77.16 aboutyun/123456 slave1 172.16.77.17 aboutyun/123456 slave1 1.1 上面各列分别为IP、user/passwd、hostname

1.2 Hostname可以在/etc/hostname中修改，hostname，hosts的修改详细可以看ubuntu修改hostname

对于三台机器都需要修改：

下面是master的修改：通过命令 01.vi /etc/hosts

02.复制代码然后对你里面的内容修改： 下面修改hostname 01.vi /etc/hostname

复制代码修改为master即可

上面hosts基本都一样，只不过hostname有所差别。 2、打通master到slave节点的SSH无密码登陆

这里面打通无密码登录，很多新手遇到了问题，这里安装的时候，具体的操作，可以查阅其他资料：

Hadoop伪分布安装过程：Hadoop单机环境搭建指南（ubuntu）

CentOS6.

h a d o o p—集群维护手

册

a6007cd97d192279168884868762caaedd33ba4dwork Information Technology Company.2020YEAR

Hadoop部分

启动命令：start-all.sh

停止命令：stop-all.sh

Hadoop运行

增加集群的存储量/节点

如果只增加集群的存储量，建议增加Hadoop datanode节点。

步骤：

1、停掉集群包括Hadoop和hbase，当然也可以不停掉，直接在hadoop namenode的配置文件Slave里添加新节点的host，别忘了在host文件里也要添加新添加的host名。

2、执行bin/start-all.sh启动集群

3、以下选择一种

1)如果不手动作平衡，插入的数据将会放在新添加的节点上。以趋于平衡。

2)如果手动平衡，则 start-balancer.sh和调用bin/sHadoop balancer命令相

似，也可加参数 -threshold 5（threshold 是平衡阈值，默认是10%，值越低各节点越平衡，但消耗时间也更长）。在使用start-balancer.sh时，如果在hdfs-site.xml里面没有配置dfs.bal

centos6.4 下搭建hadoop平台

Hadoop平台搭建方案

centos6.4 下搭建hadoop平台

一、Hadoop简介

Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统（HDFS，Hadoop Distributed Filesystem）和MapReduce（Google MapReduce的开源实现）为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。

对于Hadoop的集群来讲，可以分成两大类角色：Master和Salve。一个HDFS集群是由一个NameNode和若干个DataNode组成的。其中NameNode作为主服务器，管理文件系统的命名空间和客户端对文件系统的访问操作；集群中的DataNode管理存储的数据。MapReduce框架是由一个单独运行在主节点上的JobTracker和运行在每个集群从节点的TaskTracker共同组成的。主节点负责调度构成一个作业的所有任 务，这些任务分布在不同的从节点上。主节点监控它们的执行情况，并且重新执行之前的失败任务；从节点仅负责由主节点指派的任务。当一个Job被提交 时，JobTracker接收到提交作业和配置信息之后，就

Flume集群搭建 一：Flume简介

Flume是一个分布式的、高可用的海量日志收集、聚合和传输日志收集系统，支持在日志系统中定制各类数据发送方（如：Kafka，HDFS等），便于收集数据。

Flume提供了丰富的日志源收集类型，有：Console、RPC、Text、Tail、Syslog、Exec等数据源的收集。

Agent层：

对于Agent这一层来说，每个机器部署一个Agent，可以水平扩展，不受限制。一个方面，Agent收集日志的能力受限于机器的性能，正常情况下一个Agent可以为单机提供足够服务。另一方面，如果机器比较多，可能受限于后端Collector提供的服务，但Agent到Collector是有Load Balance机制，使得Collector可以线性扩展提高能力。

Collector层：

对于Collector这一层，Agent到Collector是有Load Balance机制，并且Collector提供无差别服务，所以可以线性扩展。其性能主要受限于Store层提供的能力。

Store层：

对于Store这一层来说，Hdfs和Kafka都是分布式系统，可以做到线性扩展。Bypass属于临时的应用，只对应于某一类日

第一篇主要是整体的步骤，其实中间遇到很多问题，第二篇将遇到的问题全部列举下来： 1.1包不能加载警告

WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

hadoop2.5.1官网上提供的已经是64位操作系统版本，但是仍然报这个错误

1.1.1测试本地库

[root@cluster3 ~]# export HADOOP_ROOT_LOGGER=DEBUG,console

[root@cluster3 script]# hadoop fs -text /usr/local/script/hdfile1.txt 14/11/01 10:58:15 DEBUG util.NativeCodeLoader: Failed to load native-hadoop with error:

java.lang.UnsatisfiedLinkError:

/usr/local/hadoop/hadoop-2.5.1/lib/native/

1、集群部署介绍

1.1 Hadoop简介

Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统（HDFS，Hadoop Distributed Filesystem）和MapReduce（Google MapReduce的开源实现）为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。

对于Hadoop的集群来讲，可以分成两大类角色：Master和Salve。一个HDFS集群是由一个NameNode和若干个DataNode组成的。其中NameNode作为主服务器，管理文件系统的命名空间和客户端对文件系统的访问操作；集群中的DataNode管理存储的数据。MapReduce框架是由一个单独运行在主节点上的JobTracker和运行在每个集群从节点的TaskTracker共同组成的。主节点负责调度构成一个作业的所有任务，这些任务分布在不同的从节点上。主节点监控它们的执行情况，并且重新执行之前的失败任务；从节点仅负责由主节点指派的任务。当一个Job被提交时，JobTracker接收到提交作业和配置信息之后，就会将配置信息等分发给从节点，同时调度任务并监控TaskTracker的执行。

从上面的介绍可以

Centos7 搭建Hadoop

1.jdk安装（http://www.webkfa.com/one1/w288.html） 下载安装java jdk1.8.0_65 1）在 /home 下将jdk进行解压

#tar -xzvf jdk1.8.0_65.tar.gz jdk-8u111-linux-x64.tar.gz 当时rpm时，利用下面的命令 #chmod 777 jdk-8u11-linux-x64.rpm #rpm -i jdk-8u11-linux-x64.rpm

如果将目录重新命名。可利用下面命令 # mv jdk1.8.0_65 jdk 2)环境变量配置 #vi /etc/profile 输入以下内容：

export HBASE_HOME=/home/jdk export PATH=$HBASE_HOME/bin:$PATH 当不知道放在那儿时利用命令 #find / -name java

我的是利用rpm包安装的，所以配置环境变量如下

验证：#source /etc/profile #javac -verison

#java -version 2.ssh免密码验证

(http://blog.csdn

Centos7 搭建Hadoop

1.jdk安装（http://www.webkfa.com/one1/w288.html） 下载安装java jdk1.8.0_65 1）在 /home 下将jdk进行解压

#tar -xzvf jdk1.8.0_65.tar.gz jdk-8u111-linux-x64.tar.gz 当时rpm时，利用下面的命令 #chmod 777 jdk-8u11-linux-x64.rpm #rpm -i jdk-8u11-linux-x64.rpm

如果将目录重新命名。可利用下面命令 # mv jdk1.8.0_65 jdk 2)环境变量配置 #vi /etc/profile 输入以下内容：

export HBASE_HOME=/home/jdk export PATH=$HBASE_HOME/bin:$PATH 当不知道放在那儿时利用命令 #find / -name java

我的是利用rpm包安装的，所以配置环境变量如下

验证：#source /etc/profile #javac -verison

#java -version 2.ssh免密码验证

(http://blog.csdn

HADOOP集群自动化安装手册

1 .AMBARI简介

来自Apache官方文档官网地址：http://ambari.apache.org/

Apache Ambari项目的目的是通过开发软件来配置、监控和管理hadoop集群，以使hadoop的管理更加简单。Ambari提供了一个基于它自身RESTful的api实现的直观的、简单易用的web界面。

AMBARI现在支持的组件包括以下几个：

HDFS, MapReduce, Hive, HCatalog, HBase, ZooKeeper, Oozie, Pig, Sqoop 1. Ambari允许系统管理员进行以下操作：

? 提供一个hadoop集群

Ambari提供了一个循序渐进的导向来安装hadoop服务到任意数量的主机 Ambari处理集群的hadoop服务配置。 ? 管理一个hadoop集群

Ambari提供了一个中央管理器来管理整个集群的hadoop的服务的开启、停止和重新配置

? 监控一个hadoop集群

Ambari提供了一个面板实时监控hadoop集群的健康和状态 Ambari通过Ganglia来收集指标

Ambari通过Nagios来进行系统预警，当你需要注意的时候给你

Hadoop +HA高可靠集群+Hbase+Zookeeper 环境搭建手册

什么是HA见附件。

集群环境：

Ubuntu15.04 64位操作系统,通过VMWARE虚拟3个节点： master1：192.168.8.101 master2：192.168.8.102 slave1：192.168.8.201

由于只有3个节点,所以master1,master2为nodedate,master2为standby zookeeper，datanode，hbase三个节点都部署 机器名 ip地址 安装软件 运行的进程 master1 192.168.8.101 jdk,hadoop, NameNode,DataNode, hbase,zookeeper hbase Hmaster, hbase HRegionServer QuorumPeerMain,zkfc JournalNode, ResourceManager master2 192.168.8.102 jdk,hadoop, NameNode,DataNode, hbase,zookeeper hbase HRegionServer QuorumPeerMain,zkfc Journa