hadoop单机及集群配置

1、集群部署介绍

1.1 Hadoop简介

Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统（HDFS，Hadoop Distributed Filesystem）和MapReduce（Google MapReduce的开源实现）为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。

对于Hadoop的集群来讲，可以分成两大类角色：Master和Salve。一个HDFS集群是由一个NameNode和若干个DataNode组成的。其中NameNode作为主服务器，管理文件系统的命名空间和客户端对文件系统的访问操作；集群中的DataNode管理存储的数据。MapReduce框架是由一个单独运行在主节点上的JobTracker和运行在每个集群从节点的TaskTracker共同组成的。主节点负责调度构成一个作业的所有任务，这些任务分布在不同的从节点上。主节点监控它们的执行情况，并且重新执行之前的失败任务；从节点仅负责由主节点指派的任务。当一个Job被提交时，JobTracker接收到提交作业和配置信息之后，就会将配置信息等分发给从节点，同时调度任务并监控TaskTracker的执行。

从上面的介绍可以

准备工作：

Window版hadoop下载地址：

http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-1.2.1/hadoop-1.2.1-bin.tar.gz

下载Eclipse hadoop的插件地址：hadoop-eclipse-plugin-1.2.1.jar

Linux Hadoop下载地址：

http://mirrors.cnnic.cn/apache/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gz

在linux服务器上创建用户名为hadoop的用户： [root@localhost ~]# useradd hadoop 设置密码：

[root@localhost ~]# passwd hadoop

添加hadoop用户使用vim、vi等命令的权限： [root@localhost ~]# vim /etc/sudoers root ALL=(ALL) ALL hadoop ALL=(ALL) ALL

此处保存是可能需要使用:wq!强制保存。

以下文档如无特殊说明均使用hadoop账户进行

准备工作：

Window版hadoop下载地址：

http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-1.2.1/hadoop-1.2.1-bin.tar.gz

下载Eclipse hadoop的插件地址：hadoop-eclipse-plugin-1.2.1.jar

Linux Hadoop下载地址：

http://mirrors.cnnic.cn/apache/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gz

在linux服务器上创建用户名为hadoop的用户： [root@localhost ~]# useradd hadoop 设置密码：

[root@localhost ~]# passwd hadoop

添加hadoop用户使用vim、vi等命令的权限： [root@localhost ~]# vim /etc/sudoers root ALL=(ALL) ALL hadoop ALL=(ALL) ALL

此处保存是可能需要使用:wq!强制保存。

以下文档如无特殊说明均使用hadoop账户进行

这里我们搭建一个由三台机器组成的集群：

172.16.77.15 aboutyun/123456 master 172.16.77.16 aboutyun/123456 slave1 172.16.77.17 aboutyun/123456 slave1 1.1 上面各列分别为IP、user/passwd、hostname

1.2 Hostname可以在/etc/hostname中修改，hostname，hosts的修改详细可以看ubuntu修改hostname

对于三台机器都需要修改：

下面是master的修改：通过命令 01.vi /etc/hosts

02.复制代码然后对你里面的内容修改： 下面修改hostname 01.vi /etc/hostname

复制代码修改为master即可

上面hosts基本都一样，只不过hostname有所差别。 2、打通master到slave节点的SSH无密码登陆

这里面打通无密码登录，很多新手遇到了问题，这里安装的时候，具体的操作，可以查阅其他资料：

Hadoop伪分布安装过程：Hadoop单机环境搭建指南（ubuntu）

CentOS6.

h a d o o p—集群维护手

册

a6007cd97d192279168884868762caaedd33ba4dwork Information Technology Company.2020YEAR

Hadoop部分

启动命令：start-all.sh

停止命令：stop-all.sh

Hadoop运行

增加集群的存储量/节点

如果只增加集群的存储量，建议增加Hadoop datanode节点。

步骤：

1、停掉集群包括Hadoop和hbase，当然也可以不停掉，直接在hadoop namenode的配置文件Slave里添加新节点的host，别忘了在host文件里也要添加新添加的host名。

2、执行bin/start-all.sh启动集群

3、以下选择一种

1)如果不手动作平衡，插入的数据将会放在新添加的节点上。以趋于平衡。

2)如果手动平衡，则 start-balancer.sh和调用bin/sHadoop balancer命令相

似，也可加参数 -threshold 5（threshold 是平衡阈值，默认是10%，值越低各节点越平衡，但消耗时间也更长）。在使用start-balancer.sh时，如果在hdfs-site.xml里面没有配置dfs.bal

Hadoop-2.3.0-cdh5.1.0完全分布式集群配置及HA配置（冰峰）

方式: 2个master + 3个slave hadoop-2.3.0-cdh5.1.0完全分布式集群配置HA配置

重点说明:

为了部署HA集群，应该准备以下事情：

* NameNode服务器：运行NameNode的服务器应该有相同的硬件配置。

* JournalNode服务器：运行的JournalNode进程非常轻量，可以部署在其他的服务器上。注意：必须允许至少3个节点。当然可以运行更多，但是必须是奇数个，如3、5、7、9个等等。当运行N个节点时，系统可以容忍至少(N-1)/2个节点失败而不影响正常运行。

一、安装前准备：

操作系统：CentOS 6.5 64位操作系统

环境：jdk1.7.0_45以上，本次采用jdk-7u72-linux-x64.tar.gz master1 192.168.100.151 namenode 节点 master2 192.168.100.152 namenode 节点 slave1 192.168.100.153 datanode 节点 slave2 192.168.100.154 datanode 节点 slav

一．Mysql集群安装

一．Rpm包准备

从http://dev.mysql.com/downloads下面找到cluster并下载相应的5个安装包。 MySQL-Cluster-gpl-client-*.rpm MySQL-Cluster-gpl-management-*.rpm MySQL-Cluster-gpl-server-*.rpm MySQL-Cluster-gpl-storag-*.rpm MySQL-Cluster-gpl-tools-*.rpm

二．管理节点安装 一．安装管理包

Rpm –ivh MySQL-Cluster-gpl-management-*.rpm Rpm –ivh MySQL-Cluster-gpl-tools-*.rpm

二．编辑配置文件

Vi /etc/lib/mysql-cluster/config.ini 【我用的最简化版本】 [ndbd default] NoOfReplicas=2 DataMemory=80M IndexMemory=18M [tcp default]

SendBufferMemory=2M ReceiveBufferMemory=2M [NDB_MGMD DEFAULT] P

HADOOP集群自动化安装手册

1 .AMBARI简介

来自Apache官方文档官网地址：http://ambari.apache.org/

Apache Ambari项目的目的是通过开发软件来配置、监控和管理hadoop集群，以使hadoop的管理更加简单。Ambari提供了一个基于它自身RESTful的api实现的直观的、简单易用的web界面。

AMBARI现在支持的组件包括以下几个：

HDFS, MapReduce, Hive, HCatalog, HBase, ZooKeeper, Oozie, Pig, Sqoop 1. Ambari允许系统管理员进行以下操作：

? 提供一个hadoop集群

Ambari提供了一个循序渐进的导向来安装hadoop服务到任意数量的主机 Ambari处理集群的hadoop服务配置。 ? 管理一个hadoop集群

Ambari提供了一个中央管理器来管理整个集群的hadoop的服务的开启、停止和重新配置

? 监控一个hadoop集群

Ambari提供了一个面板实时监控hadoop集群的健康和状态 Ambari通过Ganglia来收集指标

Ambari通过Nagios来进行系统预警，当你需要注意的时候给你

Java操作Hadoop集群文件的步骤

2016年7月19日22:31:26 Huangxin[永州职业技术学院]

大家可以到百度搜索【数据堂】，里面有很多各种行业的大数据文件

0．配置Eclipse。先把Linux里面的/usr/hadoop/lib里面的jar包。和/usr/hadoop里面的jar包全部拷贝到Windows里面的Eclipse里面（选中java工程名，然后Ctrl+V），然后选中所有的jar包右键—>【构建路径】-?【配置构建路径】

1. 关闭 linux的防火墙 Chkconfig iptables off

2. 修改linux里面的master 主机里面的 /usr/hadoop/conf里面的hdfs-site.xml文件

在里面添加一个属性 dfs.permissions

false

意思就是不检查权限。 然后在hadoop集群里面，重启集群（先stop-all.sh然后start-all.sh）关闭安全模式(hadoop dfsadmin –safemode leave) 3. 在Eclipse里面编写程序操作hadoop集群里面的文件。 ① 取文件

步骤：A:获取到HDFS配置文件

Configuratio

HADOOP集群自动化安装手册

1 .AMBARI简介

来自Apache官方文档官网地址：http://ambari.apache.org/

Apache Ambari项目的目的是通过开发软件来配置、监控和管理hadoop集群，以使hadoop的管理更加简单。Ambari提供了一个基于它自身RESTful的api实现的直观的、简单易用的web界面。

AMBARI现在支持的组件包括以下几个：

HDFS, MapReduce, Hive, HCatalog, HBase, ZooKeeper, Oozie, Pig, Sqoop 1. Ambari允许系统管理员进行以下操作：

? 提供一个hadoop集群

Ambari提供了一个循序渐进的导向来安装hadoop服务到任意数量的主机 Ambari处理集群的hadoop服务配置。 ? 管理一个hadoop集群

Ambari提供了一个中央管理器来管理整个集群的hadoop的服务的开启、停止和重新配置

? 监控一个hadoop集群

Ambari提供了一个面板实时监控hadoop集群的健康和状态 Ambari通过Ganglia来收集指标

Ambari通过Nagios来进行系统预警，当你需要注意的时候给你