Cloudera大数据平台环境搭建(CDH5.13.1)傻瓜式说明书

Cloudera大数据平台环境搭建

（CDH5.13.1版）

版本 作者 发布日期 v1.0 郭维忠 2018-03-10

Cloudera大数据平台环境搭建（CDH5.13.1）

目录

Cloudera大数据平台环境搭建 ........................................................................................................................................................................ 1 （CDH5.13.1版） .................................................................................................................................................................................................. 1 1.

基础环境 ............................................................................................................................................................................................................. 4

1.1. 1.2. 1.3. 1.4. 1.5. 1.6. 1.7. 1.8. 1.9. 1.10. 1.11. 1.12.

软件环境 ......................................................................................................................................................................................................................... 4 配置规划 ......................................................................................................................................................................................................................... 4 所需要的软件资源 ..................................................................................................................................................................................................... 4 修改机器名（所有节点） ...................................................................................................................................................................................... 5 设置防火墙（所有节点） ...................................................................................................................................................................................... 6 配置免密码登录SSH ................................................................................................................................................................................................. 6 关闭SELINUX（所有节点） ................................................................................................................................................................................. 8 修改Linux内核参数（所有节点） ................................................................................................................................................................... 8 其他安装与配置（所有节点） ......................................................................................................................................................................... 10 配置NTP服务 ........................................................................................................................................................................................................... 10 安装oracle JDK1.8 （所有节点） .................................................................................................................................................................. 12 Mysql安装（主节点） ......................................................................................................................................................................................... 13

2. 安装CM ............................................................................................................................................................................................................ 15

2.1. 2.2. 2.3. 2.4. 2.5. 2.6. 2.7. 2.8.

传包，解包 ................................................................................................................................................................................................................. 15 创建数据库 ................................................................................................................................................................................................................. 15 创建用户 ...................................................................................................................................................................................................................... 16 制作本地YUM源 ..................................................................................................................................................................................................... 16 拷贝jar包 ................................................................................................................................................................................................................... 17 修改cloudera-scm-agent配置.......................................................................................................................................................................... 17 启动CM Server和Agent ..................................................................................................................................................................................... 18 访问CM ........................................................................................................................................................................................................................ 18

3. 安装CDH ......................................................................................................................................................................................................... 18

3.1. 3.2. 3.3. 3.4. 3.5. 3.6. 3.7. 3.8. 3.9. 3.10.

登录后界面 ................................................................................................................................................................................................................. 18 选择CM版本 ............................................................................................................................................................................................................. 19 指定主机 ...................................................................................................................................................................................................................... 20 选择CDH版本 .......................................................................................................................................................................................................... 21 3.4.1. 出现 “主机运行状态不良”错误 ............................................................................................................................................................ 22 检查主机正确性 ....................................................................................................................................................................................................... 23 选择安装的服务 ....................................................................................................................................................................................................... 23 角色分配 ...................................................................................................................................................................................................................... 24 数据库设置 ................................................................................................................................................................................................................. 24 3.8.1. 测试连接报错： ............................................................................................................................................................................................ 25 群集设置 ...................................................................................................................................................................................................................... 26 开始安装 ...................................................................................................................................................................................................................... 28

第2页/共32页

模板发布部门：技术研发管理部–过程与质量管理部 模板编号：SD-TEM-01-201311

3.11.

Cloudera大数据平台环境搭建（CDH5.13.1）

安装完成 ...................................................................................................................................................................................................................... 29 3.11.1.

警告信息： ................................................................................................................................................................................................ 29

4. 常见错误 .......................................................................................................................................................................................................... 31

4.1. 4.2.

初始化数据库错误： ............................................................................................................................................................................................. 31 未能连接到 Host Monitor................................................................................................................................................................................... 32

模板发布部门：技术研发管理部–过程与质量管理部 模板编号：SD-TEM-01-201311

第3页/共32页

Cloudera大数据平台环境搭建（CDH5.13.1）

1. 基础环境

1.1.

软件环境

本文将介绍Centos7.4 离线安装CDH和Cloudera Manager过程，软件版本如下：

NO. 1. 2. 3. 4. 5. 6. 软件名称 操作系统 JDK Clouder Manager CDH 数据库 JDBC 版本 Centos7.4 64 位 jdk-8u151-linux-x64 5.13.1 5.13.1 Mysql 5.7 mysql-connector-java-5.1.43.jar 1.2. 配置规划

本次安装共5台服务器，服务器配置及用途如下：

NO. 1. 2. 3. 4. 5. 机器名称 node168 node169 node170 node171 node172 内网IP 172.16.3.168 172.16.3.169 172.16.3.170 172.16.3.171 172.16.3.172 配置 用途 主，CM，MysqlDB 从 从 从 从 8C/32Gb/1TB 8C/32Gb/1TB 8C/32Gb/1TB 8C/32Gb/1TB 8C/32Gb/1TB 1.3. 所需要的软件资源

1) JDK环境： JDK版本：1.8.0_151 jdk-8u151-linux-x64.rpm 下载地址：

http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

2) CM包： CM版本：5.13.1

cloudera-manager-centos7-cm5.13.1_x86_64.tar.gz

下载地址：http://archive-primary.cloudera.com/cm5/cm/5/cloudera-manager-centos7-cm5.13.1_x86_64.tar.gz

模板发布部门：技术研发管理部–过程与质量管理部 模板编号：SD-TEM-01-201311

第4页/共32页

Cloudera大数据平台环境搭建（CDH5.13.1）

3) CDH包 CDH版本：5.13.1，

CDH-5.13.1-1.cdh5.13.1.p0.2-el7.parcel； CDH-5.13.1-1.cdh5.13.1.p0.2-el7.parcel.sha1；

manifest.json

下载地址：

http://archive-primary.cloudera.com/cdh5/parcels/5.13.1/manifest.json

http://archive-primary.cloudera.com/cdh5/parcels/5.13.1/CDH-5.13.1-1.cdh5.13.1.p0.2-el7.parcel.sha1 http://archive-primary.cloudera.com/cdh5/parcels/5.13.1/CDH-5.13.1-1.cdh5.13.1.p0.2-el7.parcel

4) JDBC连接jar包： jar包版本：5.1.43，

mysql-connector-java-5.1.43.jar

下载地址：http://central.maven.org/maven2/mysql/mysql-connector-java/5.1.43/mysql-connector-java-5.1.43.jar

1.4. 修改机器名（所有节点）

1) 修改机器名称

# hostnamectl set-hostname xxx //设置机器名 #hostname // 查看本机名 这种方式，在Centos7中可以永久性改变主机名称。 2) 每个节点机器，都要配置hosts # vi /etc/hosts 内容都改为：

127.0.0.1 localhost //建议保留此行 172.16.3.168 node168 172.16.3.169 node169 172.16.3.170 node170 172.16.3.171 node171 172.16.3.172 node172 模板发布部门：技术研发管理部–过程与质量管理部 模板编号：SD-TEM-01-201311

第5页/共32页

Cloudera大数据平台环境搭建（CDH5.13.1）

1.5. 设置防火墙（所有节点）

注：为了简便，可以先关闭防所有节点火墙，安装完成后，再按照下面步骤设置。 防火墙常用命令：

# firewall-cmd --state（查询防火墙状态） #systemctl stop firewalld.service （关闭防火墙） #systemctl start firewalld.service （开启防火墙） #systemctl disable firewalld.service （禁止firewall开机启动） 设置防火墙策略，在所有节点执行下面脚本（执行前要启动防火墙）：

//集群机器间可以相互访问 firewall-cmd --permanent --add-rich-rule=\firewall-cmd --permanent --add-rich-rule=\firewall-cmd --permanent --add-rich-rule=\firewall-cmd --permanent --add-rich-rule=\firewall-cmd --permanent --add-rich-rule=\ //设置可以访问的端口 firewall-cmd --permanent --add-port=0-65535/tcp firewall-cmd --reload 注意： 需要在所有的节点上执行，因为涉及到的端口太多了，临时开放所有端口是为了安装起来方便，安装完毕后可以根据需要设置防火墙策略，保证集群安全。

1.6. 配置免密码登录SSH

将子节点设置为从主节点ssh无密码登陆（主节点访问从节点需要无密码互通，否则后面会出现问

题）

在主节点上执行： #cd~ //进入到 根目录 # ssh-keygen -t rsa 一路回车，生成无密码的密钥对。

模板发布部门：技术研发管理部–过程与质量管理部 模板编号：SD-TEM-01-201311

第6页/共32页

Cloudera大数据平台环境搭建（CDH5.13.1）

把公钥拷贝至node169服务器上 ：

# scp /root/.ssh/id_rsa.pub root@node169:~ //输入node169机器上root用户密码拷备成功 登录到node169服务器上：

然后在node169服务器上，把公钥的内容追加到authorized_keys文件末尾（这个文件也在隐藏文件夹.ssh下，如果没有可以新建）：

# cat id_rsa.pub >> ~/.ssh/authorized_keys 如果提示下面信息，则需要创建./ssh目录： -bash: /root/.ssh/authorized_keys: No such file or directory //创建/.ssh目录,再追加公钥内容 # mkdir ~/.ssh # cat id_rsa.pub >> ~/.ssh/authorized_keys 并设置authorized_keys的访问权限： # chmod 600 ~/.ssh/authorized_keys 测试：在node168点上执行ssh node169，正常情况下，不需要密码就能直接登陆进去了。 在node168节点出现下面表示成功登录node169节点：

模板发布部门：技术研发管理部–过程与质量管理部 模板编号：SD-TEM-01-201311

第7页/共32页

Cloudera大数据平台环境搭建（CDH5.13.1）

以同样的方式将公钥拷贝至其他节点服务器上。

1.7. 关闭SELINUX（所有节点）

关闭linux SELINUX安全内核 # setenforce 0 （临时生效） 修改 /etc/selinux/config 下的 SELINUX=disabled （重启后永久生效） # vi /etc/selinux/config 内容增加：

SELINUX=disabled 重启后生效： # reboot 查看SELINUX 是否关闭：

#sestatus

（在Centos7中遇到SELINUX无法关闭的问题，重新启动机器恢复正常）

1.8. 修改Linux内核参数（所有节点）

为避免安装过程中出现的异常问题，首先调整Linux内核参数。

1) 设置swappiness，控制换出运行时内存的相对权重，Cloudera 建议将 swappiness 设置为

10：

//查看swappiness # cat /proc/sys/vm/swappiness //永久性修改，执行下面两条命令 # sysctl -w vm.swappiness=10 # echo vm.swappiness = 10 >> /etc/sysctl.conf 2) 关闭透明大页面：

自CentOS6版本开始引入了Transparent Huge Pages(THP)，从CentOS7版本开始，该特性默认就

模板发布部门：技术研发管理部–过程与质量管理部 模板编号：SD-TEM-01-201311

第8页/共32页

Cloudera大数据平台环境搭建（CDH5.13.1）

会启用。尽管THP的本意是为提升内存的性能，不过某些数据库厂商还是建议直接关闭THP，否则可能会导致性能出现下降。

首先查看透明大页是否启用，[always] never表示已启用，always [never]表示已禁用： # cat /sys/kernel/mm/transparent_hugepage/defrag [always] madvise never # cat /sys/kernel/mm/transparent_hugepage/enabled [always] madvise never 以上状态就说明是启用的。

临时关闭（重启机器会变回默认开启状态）：

# echo never > /sys/kernel/mm/transparent_hugepage/defrag #echo never > /sys/kernel/mm/transparent_hugepage/enabled 永久关闭：

//编辑/etc/rc.d/rc.local # vi /etc/rc.d/rc.local //在文件后添加下面内容: if test -f /sys/kernel/mm/transparent_hugepage/enabled; then echo never > /sys/kernel/mm/transparent_hugepage/enabled fi if test -f /sys/kernel/mm/transparent_hugepage/defrag; then echo never > /sys/kernel/mm/transparent_hugepage/defrag fi 保存退出，然后赋予rc.local文件执行权限： #chmod +x /etc/rc.d/rc.local 重启系统，以后再检查THP状态，显示状态被禁用了。

3) 修改文件句柄数： 修改系统文件句柄数限制：

//查看文件句柄数，显示1024，显然太小 # ulimit -n 模板发布部门：技术研发管理部–过程与质量管理部 模板编号：SD-TEM-01-201311

第9页/共32页

1024 //修改限制 #vi /etc/security/limits.conf //在文件后加入下面内容： * soft nofile 100000 * hard nofile 100000 Cloudera大数据平台环境搭建（CDH5.13.1）

修改后需要重启机器。

1.9. 其他安装与配置（所有节点）

为避免安装过程中出现异常问题，安装相关依赖包：

# yum -y install psmisc MySQL-python at bc bind-libs bind-utils cups-client cups-libs cyrus-sasl-gssapi cyrus-sasl-plain ed fuse fuse-libs httpd httpd-tools keyutils-libs-devel krb5-devel libcom_err-devel libselinux-devel libsepol-devel libverto-devel mailcap noarch mailx mod_ssl openssl-devel pcre-devel postgresql-libs python-psycopg2 redhat-lsb-core redhat-lsb-submod-security x86_64 spax time zlib-devel #yum install -y python-lxml #yum install krb5-devel cyrus-sasl-gssapi cyrus-sasl-deve libxml2-devel libxslt-devel mysql mysql-devel openldap-devel python-devel python-simplejson sqlite-devel # chmod +x /etc/rc.d/rc.local # yum -y install rpcbind # systemctl start rpcbind # echo \

1.10. 配置NTP服务

集群中所有主机必须保持时间同步，如果时间相差较大会引起各种问题。 具体建设过程如下： 所有节点安装相关组件： # yum install ntp ntpdate -y NTP服务端（主节点）：

1) 查找时间同步服务器http://www.pool.ntp.org/zone/asia： 打开网址，内容如下：

模板发布部门：技术研发管理部–过程与质量管理部 模板编号：SD-TEM-01-201311

第10页/共32页

create database monitor DEFAULT CHARSET utf8 COLLATE utf8_general_ci; create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci; grant all privileges on *.* to root@localhost identified by 'root' with grant option; grant all on *.* to root@\flush privileges; exit; //复制Mysql JDBC包到/opt/cm-5.13.1/share/cmf/lib/目录 #cp mysql-connector-java-5.1.43-bin.jar /opt/cm-5.13.1/share/cmf/lib/ //初始化CM，执行下面脚本 Cloudera大数据平台环境搭建（CDH5.13.1）

# /opt/cm-5.13.1/share/cmf/schema/scm_prepare_database.sh mysql cm -hnode168 -uroot -proot --scm-host node168 scm scm scm //如果出现下面错误： java.sql.SQLException: Access denied for user 'root'@'localhost' (using password: YES) //解决办法： 在/etc/hosts 文件中，加上 127.0.0.1 localhost.node168 主节点/etc/hosts内容：

脚本/scm_prepare_database.sh 执行成功界面：

2.3. 创建用户

在所有节点上执行：

# useradd --system --home=/opt/cm-5.13.1/run/cloudera-scm-server --shell=/bin/false --comment \2.4. 制作本地YUM源

在主节点上：

//进入软件包目录 #cd /data/cdh //拷贝三个文件到/opt/cloudera/parcel-repo/目录 #cp CDH-5.13.1-1.cdh5.13.1.p0.2-el7.parcel CDH-5.13.1-1.cdh5.13.1.p0.2-el7.parcel.sha1 manifest.json /opt/cloudera/parcel-repo/ //进入/opt/cloudera/parcel-repo/目录 模板发布部门：技术研发管理部–过程与质量管理部 模板编号：SD-TEM-01-201311

第16页/共32页

#cd /opt/cloudera/parcel-repo/ //修改文件名 Cloudera大数据平台环境搭建（CDH5.13.1）

#mv CDH-5.13.1-1.cdh5.13.1.p0.2-el7.parcel.sha1 CDH-5.13.1-1.cdh5.13.1.p0.2-el7.parcel.sha 此时/opt/cloudera/parcel-repo/目录下文件：

2.5. 拷贝jar包

在所有节点上：

//如果没有/usr/share/java/目录，则创建 # cp mysql-connector-java-5.1.43-bin.jar /usr/share/java/mysql-connector-java.jar 在主节点上：

//将mysql JDBC jar 包拷贝到 /opt/cm-5.13.1/share/cmf/lib/ 目录 #cp mysql-connector-java-5.1.43-bin.jar /opt/cm-5.13.1/share/cmf/lib/ 2.6. 修改cloudera-scm-agent配置

在主节点上，修改/opt/cm-5.13.1/etc/cloudera-scm-agent/config.ini文件：

//将config.ini server_host=localhost 内容改为server_host=172.16.3.168 # sed -i \ 在主节点上：

//将cm-5.13.1 打包，并复制到其他节点 #cd /opt #tar czf cm-5.13.1.tar.gz cm-5.13.1/ //复制到其他节点 #scp cm-5.13.1.tar.gz node169:/opt/ #scp cm-5.13.1.tar.gz node170:/opt/ #scp cm-5.13.1.tar.gz node171:/opt/ #scp cm-5.13.1.tar.gz node172:/opt/ 在所有从节点上解压：

//将cm-5.13.1 包解压 #cd opt #tar -xzvf cm-5.13.1.tar.gz 模板发布部门：技术研发管理部–过程与质量管理部 模板编号：SD-TEM-01-201311

第17页/共32页

//解压后删除 #rm -rf cm-5.13.1.tar.gz Cloudera大数据平台环境搭建（CDH5.13.1）

2.7. 启动CM Server和Agent

在主节点上，启动cloudera-scm-server：

# /opt/cm-5.13.1/etc/init.d/cloudera-scm-server start 启动过程较慢，可通过/opt/cm-5.13.1/log/cloudera-scm-server日志，查看启动过程。 在所有节点上，启动cloudera-scm-agent：

# /opt/cm-5.13.1/etc/init.d/cloudera-scm-agent start 2.8. 访问CM

地址：http://主节点IP:7180 用户名、密码：admin

3. 安装CDH

3.1.

登录后界面

接受协议：

模板发布部门：技术研发管理部–过程与质量管理部 模板编号：SD-TEM-01-201311

第18页/共32页

Cloudera大数据平台环境搭建（CDH5.13.1）

3.2. 选择CM版本

本文档选择Cloudera Express免费版。

模板发布部门：技术研发管理部–过程与质量管理部 模板编号：SD-TEM-01-201311

第19页/共32页

Cloudera大数据平台环境搭建（CDH5.13.1）

3.3. 指定主机

在搜索主机名和IP地址框输入node[169-172]，这里输入的内容支持正则表达式。输入后点【搜索】

按钮，出现机器列表：

选择“当前管理的主机“选择项卡，点【继续】。

模板发布部门：技术研发管理部–过程与质量管理部 模板编号：SD-TEM-01-201311

第20页/共32页

本文来源：https://www.bwwdw.com/article/nlk7.html