hadoop安装zookeeper

北大青鸟中关村

hadoop的pig与zookeeper总结

1.安装Pig 将pig添加到环境变量当中 2.pig使用 首先将数据库中的数据导入到HDFS上 sqoop import --connect jdbc:mysql://192.168.1.10:3306/itcast --username root --password 123 --table trade_detail --target-dir '/sqoop/td' sqoop import --connect jdbc:mysql://192.168.1.10:3306/itcast --username root --password 123 --table user_info --target-dir '/sqoop/ui' td = load '/sqoop/td' using PigStorage(',') as (id:long, account:chararray, income:double, expenses:double, time:chararray); ui = load '/sqoop/ui' using PigStorage(','

Hadoop2.6+HA+Zookeeper3.4.6+Hbase1.0.0安装

安装hadoop2.6+HA

?

1.准备一台CentOS6.4系统

?

2.环境CentOS6.4 共5台 机器名ip地址安装软件运行进程

master1 192.168.3.141 hadoop、Zookeeper、hbase NN、RM、DFSZKFC、journalNode、HMaster、QuorumPeerMain

master2 192.168.3.142 hadoop、Zookeeper、hbase NN、RM、DFSZKFC、journalNode、HRegionServer、QuorumPeerMain

slave1 192.168.3.143 hadoop、Zookeeper、hbase DN、NM、journalNode、HRegionServer、QuorumPeerMain

slave2 192.168.3.144 hadoop、Zookeeper、hbase DN、NM、journalNode、HRegionServer、QuorumPeerMain

slave3 192.168.3.145 hadoop、Zookeepe

搭建hadoop2.6.0开发环境

前言：因为没有实体机做测试，要学习hadoop搭建环境，在本地笔记本做3台linux虚拟机是个蛮不错的选择。安装一个VMware，准备3台一样的linux虚拟机. Linux虚拟机ISO：

虚拟机平台服务器版本：

PS：关于软件，软件描述如下所示：

本地笔记本：T420，8G内存，64位操作系统，配置如下：

1.安装虚拟机

1.1安装VMware-workstation，一路下一步即可，导入Centos，使用ISO方式搭建linux虚拟机

2.安装linux虚拟机

2.1安装VMware-workstation完成后，选择新建虚拟机，导入Centos，使用ISO方式搭建linux虚拟机

选择路径

选择多核

选择2G内存

选择桥连接的方式

选择磁盘I/O方式

创建全新的虚拟机

选择磁盘类型

虚拟机文件存储方式

设置虚拟机文件存放路径

完成打开，报错如下：

Could not prepare the install disc at E:\\software\\wmware\\CentOS-6.5-x86_64-bin-DVD1.iso. Make sure that you are usin

Hadoop的安装部署

对于云计算的概念，世界知名的几大IT厂商都推出了各自的云计算平台，比如Amazon的AWS、微软的Azure和IBM的蓝云等，但他们都是商业平台，不适合广大对云计算有兴趣的研究者，而Hadoop是google云计算的开源实现，并且是完全免费的。Hadoop是一个分布式系统基础架构，是Apache下的一个项目，由HDFS、MapReduce、HBase、Hive和ZooKeeper等成员组成。其中，HDFS和MapReduce是两个最基础最重要的成员。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。简单地说来，Hadoop是一个可以更容易开发和运行处理大规模数据的软件平台。Hadoop框架中最核心的设计就是：MapReduce和HDFS。MapReduce的思想是由Google的一篇论文所提及而被广为流传的，简单的一句话解释MapReduce就是“任务的分解与结果的汇总”。HDFS是Hadoop分布式文件系统（HadoopDistributedFileSystem）的缩写，为分布式计算存储提供了底层支持。

MapReduce从它名字上来看就大致可以看出个缘由，两个动词Map和Redu

Hadoop的安装部署

对于云计算的概念，世界知名的几大IT厂商都推出了各自的云计算平台，比如Amazon的AWS、微软的Azure和IBM的蓝云等，但他们都是商业平台，不适合广大对云计算有兴趣的研究者，而Hadoop是google云计算的开源实现，并且是完全免费的。Hadoop是一个分布式系统基础架构，是Apache下的一个项目，由HDFS、MapReduce、HBase、Hive和ZooKeeper等成员组成。其中，HDFS和MapReduce是两个最基础最重要的成员。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。简单地说来，Hadoop是一个可以更容易开发和运行处理大规模数据的软件平台。Hadoop框架中最核心的设计就是：MapReduce和HDFS。MapReduce的思想是由Google的一篇论文所提及而被广为流传的，简单的一句话解释MapReduce就是“任务的分解与结果的汇总”。HDFS是Hadoop分布式文件系统（HadoopDistributedFileSystem）的缩写，为分布式计算存储提供了底层支持。

MapReduce从它名字上来看就大致可以看出个缘由，两个动词Map和Redu

1、集群部署介绍

1.1 Hadoop简介

Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统（HDFS，Hadoop Distributed Filesystem）和MapReduce（Google MapReduce的开源实现）为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。

对于Hadoop的集群来讲，可以分成两大类角色：Master和Salve。一个HDFS集群是由一个NameNode和若干个DataNode组成的。其中NameNode作为主服务器，管理文件系统的命名空间和客户端对文件系统的访问操作；集群中的DataNode管理存储的数据。MapReduce框架是由一个单独运行在主节点上的JobTracker和运行在每个集群从节点的TaskTracker共同组成的。主节点负责调度构成一个作业的所有任务，这些任务分布在不同的从节点上。主节点监控它们的执行情况，并且重新执行之前的失败任务；从节点仅负责由主节点指派的任务。当一个Job被提交时，JobTracker接收到提交作业和配置信息之后，就会将配置信息等分发给从节点，同时调度任务并监控TaskTracker的执行。

从上面的介绍可以

本文环境如下：

操作系统：CentOS 6 32位 ZooKeeper版本：3.4.8

0. 环境需求

Zookeeper需要JDK1.6以上版本的Java环境 可以参考：

CentOS 6使用rpm方式安装JDK8

1. 下载软件包

到ZooKeeper官网上http://zookeeper.apache.org/下载软件包,例如：

wget \r-3.4.8.tar.gz\

tar -xzvf zookeeper-3.4.8.tar.gz mv zookeeper-3.4.8 /opt

? ? ? ? ? ? 1 2 3 1 2 3 2. 单机模式 2.1 修改配置文件 cd /opt/zookeeper-3.4.8/conf/ cp zoo_sample.cfg zoo.cfg vi zoo.cfg

? ? ? ? ? ? 1 2 3 1 2 3 Zookeeper提供了一份默认的配置文件，复制为zoo.cfg打开后，我们需要修改数据存放的路径： dataDir=/opt/zookeeper-3.4.8/data

? ? 1 1 2.2 运行Zookeeper

cd /opt/zookeeper-3.4.8/bin/ ./zkS

本文环境如下：

操作系统：CentOS 6 32位 ZooKeeper版本：3.4.8

0. 环境需求

Zookeeper需要JDK1.6以上版本的Java环境 可以参考：

CentOS 6使用rpm方式安装JDK8

1. 下载软件包

到ZooKeeper官网上http://zookeeper.apache.org/下载软件包,例如：

wget \r-3.4.8.tar.gz\

tar -xzvf zookeeper-3.4.8.tar.gz mv zookeeper-3.4.8 /opt

? ? ? ? ? ? 1 2 3 1 2 3 2. 单机模式 2.1 修改配置文件 cd /opt/zookeeper-3.4.8/conf/ cp zoo_sample.cfg zoo.cfg vi zoo.cfg

? ? ? ? ? ? 1 2 3 1 2 3 Zookeeper提供了一份默认的配置文件，复制为zoo.cfg打开后，我们需要修改数据存放的路径： dataDir=/opt/zookeeper-3.4.8/data

? ? 1 1 2.2 运行Zookeeper

cd /opt/zookeeper-3.4.8/bin/ ./zkS

HADOOP集群自动化安装手册

1 .AMBARI简介

来自Apache官方文档官网地址：http://ambari.apache.org/

Apache Ambari项目的目的是通过开发软件来配置、监控和管理hadoop集群，以使hadoop的管理更加简单。Ambari提供了一个基于它自身RESTful的api实现的直观的、简单易用的web界面。

AMBARI现在支持的组件包括以下几个：

HDFS, MapReduce, Hive, HCatalog, HBase, ZooKeeper, Oozie, Pig, Sqoop 1. Ambari允许系统管理员进行以下操作：

? 提供一个hadoop集群

Ambari提供了一个循序渐进的导向来安装hadoop服务到任意数量的主机 Ambari处理集群的hadoop服务配置。 ? 管理一个hadoop集群

Ambari提供了一个中央管理器来管理整个集群的hadoop的服务的开启、停止和重新配置

? 监控一个hadoop集群

Ambari提供了一个面板实时监控hadoop集群的健康和状态 Ambari通过Ganglia来收集指标

Ambari通过Nagios来进行系统预警，当你需要注意的时候给你

HADOOP集群自动化安装手册

1 .AMBARI简介

来自Apache官方文档官网地址：http://ambari.apache.org/

Apache Ambari项目的目的是通过开发软件来配置、监控和管理hadoop集群，以使hadoop的管理更加简单。Ambari提供了一个基于它自身RESTful的api实现的直观的、简单易用的web界面。

AMBARI现在支持的组件包括以下几个：

HDFS, MapReduce, Hive, HCatalog, HBase, ZooKeeper, Oozie, Pig, Sqoop 1. Ambari允许系统管理员进行以下操作：

? 提供一个hadoop集群

Ambari提供了一个循序渐进的导向来安装hadoop服务到任意数量的主机 Ambari处理集群的hadoop服务配置。 ? 管理一个hadoop集群

Ambari提供了一个中央管理器来管理整个集群的hadoop的服务的开启、停止和重新配置

? 监控一个hadoop集群

Ambari提供了一个面板实时监控hadoop集群的健康和状态 Ambari通过Ganglia来收集指标

Ambari通过Nagios来进行系统预警，当你需要注意的时候给你