HADOOP集群自动化安装手册

HADOOP集群自动化安装手册

1 .AMBARI简介

来自Apache官方文档官网地址：http://ambari.apache.org/

Apache Ambari项目的目的是通过开发软件来配置、监控和管理hadoop集群，以使hadoop的管理更加简单。Ambari提供了一个基于它自身RESTful的api实现的直观的、简单易用的web界面。

AMBARI现在支持的组件包括以下几个：

HDFS, MapReduce, Hive, HCatalog, HBase, ZooKeeper, Oozie, Pig, Sqoop 1. Ambari允许系统管理员进行以下操作：

? 提供一个hadoop集群

Ambari提供了一个循序渐进的导向来安装hadoop服务到任意数量的主机 Ambari处理集群的hadoop服务配置。 ? 管理一个hadoop集群

Ambari提供了一个中央管理器来管理整个集群的hadoop的服务的开启、停止和重新配置

? 监控一个hadoop集群

Ambari提供了一个面板实时监控hadoop集群的健康和状态 Ambari通过Ganglia来收集指标

Ambari通过Nagios来进行系统预警，当你需要注意的时候给你发邮件（例如：一个节点宕机了，提醒磁盘空间不足，等等） 2. Ambari允许程序开发人员和系统集成商：

对他们自己的应用程序通过使用Ambari REST的api简单的集成hadoop提供、管理和监控的能力

2 安装所需条件

2.1 操作系统的需求

? CentOS版本6.3 (64位)

备注：

? 操作系统安装的时候选择Basic Server就可以了，不要安装Open JDK。不要安

装postgresql数据库

? 最为集群主节点的机器磁盘要做RAID，这样主要是为了保护关键性的数据文

件，通常配置是RAID 1+0 或者 RAID 0 +1，其他从节点（数据节点）磁盘配置采用JBOD模式，直接挂载的文件系统的根目录下。 ? 文件系统使用EXT4

2.2 软件的需求

? ambari-1.6.0 (x86_64) for centos 6 ? HDP-UTILS-1.1.0.17 for centos 6 ? HDP-UTILS-1.1.0.16 for centos6 ? HDP-2.1.2.1 for centos6

? CentOS-6.3-x86_64-bin-DVD1.iso

? CentOS-6.3-x86_64-bin-DVD2.iso（镜像必须和系统相同）

2.3 JDK的需求

? Oracle JDK 1.7_45 64-bit (默认) ? Oracle JDK 1.6.0_31 64-bit

3 安装示例说明

所选操作系统 集群设定 Ambari版本 Jdk版本 192.168.6.22 dp22(master) 192.168.6.23 dp23 Centos6.3 64位 192.168.6.24dp24 192.168.6.25 dp25 注意 此处的主机名不符合完全限定域名(fully qualified domain name,FQDN)的规范，只是为了展示方便。

1.6.0 OracleJDK 1.7_45 64-bit 4 安装前的先决条件

4.1 系统时间同步

必须运行ntpd（时钟同步）服务

5 安装AMBARI前的操作系统准备 5.1 配置主机名

# vi /etc/sysconfig/network 例如：

NETWORKING=yes HOSTNAME=master 注意

Ambari配置集群信息的时候是通过全限定主机名来确定集群中的机器信息的，所以必须确保主机名无误

5.2 配置集群信息

注意：

将所有的机器IP地址和主机名写到hosts文件中，然后将这个文件复制到所有机器的/etc/目录下。 # vi /etc/hosts

5.3 配置SSH免密码互通

在master节点上用root用户登录,在当前linux root用户下执行一下命令： # ssh-keygen

然后一路回车即可，此操作会在/root生成一个.ssh隐藏文件夹，文件夹中有两个文件：id_rsa（私钥）和id_rsa.pub（公钥）。

配置主节点到所有从节点的免密码登录，按照提示输入相应的信息。 格式：ssh-copy-id -i .ssh/id_rsa.pub root@ 例如:

# ssh-copy-id -i .ssh/id_rsa.pub root@dp22 # ssh-copy-id -i .ssh/id_rsa.pub root@dp23 在master上测试连接： # shhdp22 # shhdp23

成功即可进行下一步，不成功删除.ssh文件夹及其所含文件即可

5.4 关闭SELINUX

查看selinux状态 # /usr/sbin/sestatus –v 临时关闭 # setenforce 0 永久关闭SELinux # vi /etc/selinux/config

将SELINUX=enforcing改为SELINUX=disabled 重启生效，重启命令为： # reboot

5.5 关闭IPTABLES防火墙

# chkconfig --level 35iptables off # serviceiptables stop 查看防火墙状态

# chkconfig –list|grepiptables

提示：Linux下的其它服务都可以用以上命令执行开启和关闭操作 重启生效，重启命令为： # reboot

5.6 设置LINUX最大打开文件数

首先可以通过ulimit–a 命令来查看，可以看到一下信息

通过下面命令打开配置文件，修改最大打开文件数: #vi /etc/security/limits.conf 在文件最后添加下面两条信息 * - nproc65535 * - nofile65535

然后保存退出，重启机器，在执行#ulimit–a就可以看到下面信息中最大打开文件数是65535了

6 配置YUM软件源

在其中一台机器上安装apache http服务器，通过ISO方式挂载本地yum源，具体可以在网上查找挂载方式。挂载完成以后，在root用户下执行安装http服务

#yum –y install httpd 启动http服务 #service httpd restart

将ambari需要的软件包上传到/var/www/html目录下，执行解压命令 #tar zxvfHadoop.tar.gz 可以看到一下目录

通过浏览器访问任何目录可以看到文件列表就可以了 备注：我这里设置的yum源服务器的地址是192.168.6.14

7 安装AMBARI SERVER

7.1 添加AMBARI的YUM资源库

#wgethttp://192.168.6.14/ambari/centos6/1.x/updates/1.6.0/ambari.repo/etc/yum.repos.d/ 7.2 编辑YUM资源库配置文件

#viambari.repo

将文件中的所有public-repo-1.hortonworks.com替换成你的yum源http服务器的IP地址，将gpgcheck=1改成gpgcheck=0，保存退出

7.3 创建CENTOS操作系统YUM源配置

在/etc/yum.repo.d/目录下创建centos.repo文件，并写入下面内容（将其中的IP地址换成你的yum源http服务器的IP地址），保存退出。 [centos] name=centos6

baseurl=http://192.168.6.14/CentOS/ enabled=1

gpgcheck=0

gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-6

7.4 资源库验证

# yum repolist

如果出现以下类似信息即为安装正确

然后将ambari.repo和centos.repo文件复制到所有服务器的/etc/yum.repo.d目录下。

7.5 安装AMBARI服务

# yum install ambari-server 出现下面的提示信息说明安装成功

7.6 设置AMBARI服务之前

? 编辑ambari要安装的软件源配置

# vi /var/lib/ambari-server/resources/stacks/HDP/2.1/repos/repoinfo.xml

将文件中的所有public-repo-1.hortonworks.com替换成你的yum源http服务器的IP地址。保存退出

# VI

/VAR/LIB/AMBARI-SERVER/RESOURCES/STACKS/HDP/2.1.GLUSTERFS/REP

OS/REPOINFO.XML

将文件中的所有public-repo-1.hortonworks.com替换成你的yum源http服务器的IP地址。保存退出 ? 编辑ambari要安装的JDK路径

# vi /etc/ambari-server/conf/ambari.properties

将文件中的所有public-repo-1.hortonworks.com替换成你的yum源http服务器的IP地址。保存退出

7.7 设置AMBARI服务

# ambari-server setup

出现选择选项时按默认处理即可

在这里我们选择2，JDK6

出现上面的信息说明设置成功

7.8 运行AMBARI-SERVER

#ambari-server start

#ps -aux | gerp java查看是否存在ambari-server进程，如果存在，说明启动成功，通过界面就可以开始安装hadoop集群了 #停止命名：ambari-server stop

备注：如果整个集群系统关机（无论正常关机还是掉电关机）,除了启动

ambari-server之外，集群中其他机器都要手动的去启动ambari-agent,启动的命是ambari-agent start.

8 安装集群

Ambari-server Web服务对应的端口是8080。

? 在浏览器中打开http://:8080,可以看到登陆界面，默认的用

户名密码是:admin/admin

? 输入用户名密码登陆进去开始按照步骤安装，设置集群名称，可以随便输入

? 选择技术堆栈，这里选择HDP 2.1

点击高级库选项

在这个界面中设置本机软件镜像库的路径，用下面这个路径替换所所有的就可以了http://192.168.6.14/HDP/centos6/2.x/updates/2.1.2.1/ (这里的IP换成的yum源IP地址)，点击下一步

? 设置要安装的机器列表、ambari-server服务所在节点的私钥文件id_rsa,从你的

ambari-server服务所在的节点上/root/.ssh目录下降id_rsa文件拷贝出来，按照提示输入相关信息，点击注册并确认按钮

在弹出的对话框中确认你的机器名称是否正确，如果正确点击OK

? 注册主机并在每台机器上安装agent,成功点击下一步，如果出错，点击状态信

息查看错误信息，并点击重试所有失败机器，进行重新安装。

? 选择要安装的服务

这里我们这次安装下面勾选的这些组件，你需要安装哪些勾选哪些。点击下一步

? 分配主节点，设置Master 所在的节点，我们这里将

NameNode,ResourceManager,HMaster都放到一个节点上（备注：这个节点也是我们安装操作系统的时候磁盘做RAID的机器）其他的服务可以随便设置节点

? 选择从节点安装的服务，原则上主节点不安装这些服务，然后点击下一步

? 配置服务，在这里主要是设置我们安装的那些服务的一些配置信息。

主要设置的地方： ? HDFS

? NameNode Java heap size 8G

? dfs.namenode.handler.count设定到100

? dfs.datanode.handler.count设定到50(在自定义hdfs-site.xml

部分设置)

? dfs.datanode.max.xcievers同时处理文件的上限设定到8192(在自

定义hdfs-site.xml部分设置)

? Yarn

默认 ? Mapreduce

默认 ? HBase

? HBase Master Maximum Java heap size 4G ? RegionServers maximum Java heap size 12G

? Zookeeper

默认

? Nagios

设置用户名密码、邮件地址就可以了 ? 其他的默认不变

? 审阅确认你的配置信息，如果没问题，点击发布按钮，开始安装服务

? 安装、启动及测试集群

可以点击消息，查看安装的日志信息

点击其中一个任务，查看单个任务的安装日志

一直等待所有的服务安装完成并启动成功，这个过程可能需要30分钟左右,最后点击下一步，在下一个界面点击完成进入到主界面。 ? 主界面

? 在系统管理界面可以对集群高可用、用户、安全等进行设置

点击启用NameNode HA

? 在服务列表界面，可以查看集群中各个服务的运行情况

? 机器列表界面

点击任何一个机器可以看到这个机器的资源使用情况

本文来源：https://www.bwwdw.com/article/3g8p.html