CDH5离线安装手册

Cloudera manage（离线）安装手册

1. 准备工作 1.1. 系统环境

硬件设备：16G内存，1.8T 网络组成： 172.16.41.41 j1 172.16.41.42 j2 172.16.41.43 j3 操作系统：Centos6.4 64位

1.2. 安装JDK

从官方网站上下载rpm包，本次使用版本1.7.0_79（CDH5可能支持1.7之前的版本，具体情况未经测试），执行命令： rpm -ivhjdk-7u60-linux-x64.rpm

由于是rpm包并不需要我们来配置环境变量，我们只需要配置一个全局的JAVA_HOME变量即可，执行命令：

echo \执行命令，查看Jdk是否安装正确 java -version javac -version

1.3. 修改主机名

修改/etc/sysconfig/network文件： NETWORKING=yes HOSTNAME=j1

其中HOSTNAME与主机名一致。

主机名如果跟系统安装时不一致请执行hostname命令让其立即生效，否则会影响各节点互相访问，命令如下： hostname master

修改/etc/hosts文件，添加：

172.16.41.41 j1

172.16.41.42 j2 172.16.41.43 j3

重新启动网络服务，执行命令： service network restart

1.4. 关闭防火墙

防火墙会引起hadoop相关组件通讯的各种异常。防火墙： service iptables stop (临时关闭) chkconfigiptables off (重启后生效) 设置SELINUX：

setenforce 0 (临时生效)

修改/etc/selinux/config下的 SELINUX=disabled （重启后生效）

1.5. SSH无密钥验证

所有节点均执行如下命令，遇到提示一路回车即可： ssh-keygen -t rsa

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys_$hostname scp各数据节点文件authorized_keys到主节点： scp ~/.ssh/authorized_keysroot@j1:~/.ssh/

合并各节点文件authorized_keys_$hostname到文件authorized_keys： cat~/.ssh/authorized_keys_$hostname>>authorized_keys 主机分发合并后的authorized_keys所有节点主机： scp ~/.ssh/authorized_keysroot@j2:~/.ssh/ scp ~/.ssh/authorized_keysroot@j3:~/.ssh/

然后输入密码即可，以后再到其他机器就不需要密码额。

1.6. 安装NTP服务

所有节点安装相关组件：ntp与ntpdate。按顺序安装即可，完成后，配置开机启动： yum install ntp chkconfigntpd on 检查是否设置成功： chkconfig --list ntpd

1.7. 安装Mysql数据库 检查安装环境

查找以前是否装有mysql，命令：

rpm -qa|grep -i mysql

可以看到mysql的两个包： mysql-4.1.12-3.RHEL4.1

mysqlclient10-3.23.58-4.RHEL4.1 删除mysql

删除命令：rpm -e --nodeps 包名 ( rpm -ev mysql-4.1.12-3.RHEL4.1 ) 删除老版本mysql的开发头文件和库 rm -fr /usr/lib/mysql rm -fr /usr/include/mysql

注意：卸载后/var/lib/mysql中的数据及/etc/my.cnf不会删除，如果确定没用后就手工删除 rm -f /etc/my.cnf rm -fr /var/lib/mysql

安装mysql

使用yum源安装，执行安装命令： yum install mysql-server yum install mysql-delvel

1.8. 配置mysql数据库

启动mysql数据库 servicemysqld start 修改初始密码：

修改MySQL数据库root用户的初始密码，先查下初始密码 cat /root/.mysql_secret

使用初始密码登陆mysql数据库，登陆命令为： mysql–uroot–p

执行如下命令修改数据库root用户密码： set password=password('root'); 刷新权限表： flush privileges;

将mysql设置成开机启动，测试使用新密码进行登陆。 chkconfigmysqld on

本次安装需要创建如下数据库 --hive数据库

create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci --集群监控数据库

create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci --hue数据库

create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci

2. 安装CM 2.1. 下载安装包

下载地址http://archive-primary.cloudera.com/cm5/cm/5/，根据自己的系统选择相应的版本，本次安装选用的是cloudera-manager-el6-cm5.4.3_x86_64.tar.gz。下载完成后只上传到j1节点即可。然后解压到/opt目录下，不能解压到其他地方，因为cdh5的源会默认在/opt/cloudera/parcel-repo寻找，怎么制作cdh5的本地源文件会在之后介绍。

2.2. 安装CM

给所有节点添加cloudera-scm用户：

useradd --system --home=/opt/cm-5.4.3/run/cloudera-scm-server/ --shell=/bin/false --comment \

--no-create-home

修改/opt/cm-5.4.3/etc/cloudera-scm-agent/config.ini 下面的server_host # Hostname of the CM server. server_host=j1

上传mysql驱动包mysql-connector-java-5.1.26-bin.jar到/opt/cm-5.4.3/share/cmf/lib/目录： cp /root/data/mysql-connector-java-5.1.22-bin.jar /opt/cm-5.4.3/share/cmf/lib/

为Cloudera Manager 5建立数据库：

/opt/cm-5.4.3/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -proot --scm-host localhostscmscmscm

格式是:scm_prepare_database.sh 数据库类型 数据库服务器用户名密码 –scm-host Cloudera_Manager_Server所在的机器，后面那三个不知道代表什么，直接照抄官网的了。

开启Cloudera Manager 5 Server端：

/opt/cm-5.4.3/etc/init.d/cloudera-scm-server start

注意server首次启动不要立即关闭或重启，因为首次启动会自动创建相关表以及数据，如果因为特殊原因中途退出，请先删除所有表以及数据之后再次启动，否则将会出现启动不成功的情况。

开启Cloudera Manager 5 Agents端：

先scp /opt/cm-5.4.1到所有datanode节点上，然后在每台机器上开启Agents端： scp -r /opt/cm-5.4.3 root@j2:/opt scp -r /opt/cm-5.4.3 root@j3:/opt

等待拷贝成功，在所有datanode节点上启动：（注意必须以管理员权限启动） /opt/cm-5.4.3/etc/init.d/cloudera-scm-agent start

浏览器启动Cloudera Manager 5 控制台（172.16.41.41:7180），启动成功就会看到登陆页面。

3. 安装CDH 3.1. 下载CDH版本

下载CDH版本到本地http://archive-primary.cloudera.com/cdh5/parcels/5.0.0/，需要下载三样东西：

1、 与操作系统版本相对应的parcel包 2、 manifest.json文件。

3、 CDH-5.4.4-1.cdh5.4.3.p0.4-el6.parcel.sha1文件。

3.2. 安装CDH 本地源制作

下载完成后将这三个文件放到master节点的/opt/cloudera/parcel-repo下（目录在安装Cloudera Manager 5时已经生成），并将CDH-5.4.4-1.cdh5.4.4.p0.4-el6.parcel.sha1重命名为CDH-5.4.4-1.cdh5.4.4.p0.4-el6.parcel.sha。

CDH安装

打开http://172.16.41.41:7180，登陆控制台，默认账户和密码都是admin，安装时选择免费版，之后由于cm5对中文的支持很强大，按照提示安装即可，如果系统配置有什么问题在安装过程中会有提示，根据提示选择impala组件安装就可以了。 安装完成后，在控制台可以看到所装的组件和各组件的运作状态：

主节点j1的角色分配如下所示：

j 2、j3节点的角色分配如下：

4. 常见问题处理

1、 安装hive、Impala组件时，需要mysql源数据支持，需要新建数据库并进行赋权操作，

然后重启数据库。详细操作如下：

grant all on *.* to root@\servicemysqld restart 然后重启数据库

在安装hive时无法继续，查看日志发现如下报错信息：

ERROR 1044 (42000): Access denied for user ''@'localhost' to database 'mysql'： 解决办法：修改密码后重启。 mysql -u root mysql

mysql> UPDATE user SET Password=PASSWORD('newpassword') where USER='root';

mysql> FLUSH PRIVILEGES;//记得要这句话，否则如果关闭先前的终端，又会出现原来的错误。

2、 详细操作安装Hive时，遇到安装失败的问题，查看一下日志发现时安装Hive时需要安

装JDBC驱动，所以同样我们将Mysql的驱动包拷贝到/opt/cloudera/parcels/CDH-5.4.3-1.cdh5.0.0.p0.47/lib/hive/lib/目录下，之后再继续安装就不会遇到问题了。

3、 使用用yum安装时，无法连接网络。

解决办法：在/etc/resolv.conf中添加nameserver 8.8.8.8。

5. 参考文献

博客1：http://www.tuicool.com/articles/ENjmeaY

博客2：http://m.blog.csdn.net/blog/hjckevin/38873345 社区：http://www.aboutyun.com/thread-8921-1-1.html impala官网：

http://www.cloudera.com/content/cloudera/en/documentation/cloudera-impala/latest/topics/impala_install.html

本文来源：https://www.bwwdw.com/article/z7n3.html