hadoop zookeeper hbase

Hadoop2.6+HA+Zookeeper3.4.6+Hbase1.0.0安装

安装hadoop2.6+HA

?

1.准备一台CentOS6.4系统

?

2.环境CentOS6.4 共5台 机器名ip地址安装软件运行进程

master1 192.168.3.141 hadoop、Zookeeper、hbase NN、RM、DFSZKFC、journalNode、HMaster、QuorumPeerMain

master2 192.168.3.142 hadoop、Zookeeper、hbase NN、RM、DFSZKFC、journalNode、HRegionServer、QuorumPeerMain

slave1 192.168.3.143 hadoop、Zookeeper、hbase DN、NM、journalNode、HRegionServer、QuorumPeerMain

slave2 192.168.3.144 hadoop、Zookeeper、hbase DN、NM、journalNode、HRegionServer、QuorumPeerMain

slave3 192.168.3.145 hadoop、Zookeepe

北大青鸟中关村

hadoop的pig与zookeeper总结

1.安装Pig 将pig添加到环境变量当中 2.pig使用 首先将数据库中的数据导入到HDFS上 sqoop import --connect jdbc:mysql://192.168.1.10:3306/itcast --username root --password 123 --table trade_detail --target-dir '/sqoop/td' sqoop import --connect jdbc:mysql://192.168.1.10:3306/itcast --username root --password 123 --table user_info --target-dir '/sqoop/ui' td = load '/sqoop/td' using PigStorage(',') as (id:long, account:chararray, income:double, expenses:double, time:chararray); ui = load '/sqoop/ui' using PigStorage(','

Hbase的安装与配置

2015年5月16日 10:44

[1]安装jdk（用户：root）

新建文件夹“/usr/share/java_1.6”，把jdk-6u45-linux-x64.bin上传至“/usr/share/java_1.6”文件夹下。 执行命令：

cd /usr/share/java_1.6

chmod +x jdk-6u45-linux-x64.bin ./jdk-6u45-linux-x64.bin

[2]添加Java环境变量（用户：etl）

修改“/home/etl/.bash_profile”，加上以下三句配置： export JAVA_HOME=/usr/share/java_1.6/jdk1.6.0_45 export PATH=$JAVA_HOME/bin:$PATH

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

[3]安装hbase（用户：etl）

把hbase-0.98.7-hadoop2-bin.tar.gz上传至“/home/etl/_jyy/” 执行命令：

cd /home/etl/_jyy/

tar xfz

1. 快速单击安装

在单机安装Hbase的方法。会引导你通过shell创建一个表，插入一行，然后删除它，最后停止Hbase。只要10分钟就可以完成以下的操作。

1.1下载解压最新版本 选择一个 Apache 下载镜像：

http://www.apache.org/dyn/closer.cgi/hbase/，下载 HBase Releases. 点击 stable目录，然后下载后缀为 .tar.gz 的文件; 例如 hbase-0.90.4.tar.gz.

后面需要安装集群，整合到hadoop，所以注意选择与hadoop对应的版本：

选择 Hadoop 版本对HBase部署很关键。下表显示不同HBase支持的Hadoop版本信息。基于HBase版本，应该选择合适的Hadoop版本。我们没有绑定 Hadoop 发行版选择。可以从Apache使用 Hadoop 发行版，或了解一下Hadoop发行商产

品： http://wiki.apache.org/hadoop/Distributions and Commercial Support Table 2.1. Hadoop version support matrix

Hadoop-0.20.2

Hbase运维手册 1. region情况

需要检查

1. region的数量（总数和每台regionserver上的region数） 2. region的大小

如果发现异常可以通过手动merge region和手动分配region来调整 从CDH前台和master前台以及regionServer的前台都可以看到region数量，如master前台：

在region server前台可以看到storeFile大小：

2. 缓存命中率

缓存命中率对hbase的读有很大的影响，可以观察这个指标来调整blockcache的大小。

从regionserver web页面可以看到block cache的情况：

注意：

HBase上Regionserver的内存分为两个部分，一部分作为Memstore，主要用来写；另外一部分作为BlockCache，主要用于读。

写请求会先写入Memstore，Regionserver会给每个region提供列族数提供一定数量的Memstore，当Memstore满64MB以后，会启动 flush刷新到磁盘。当Memstore的总大小超过限制时（heapsize * hbase.regionse

HBase的数据主要存储在分布式文件系统HFile和HLog两类文件中。Compaction操作会将合并完的不用的小Hfile移动到<.archive>文件夹，并设置ttl过期时间。HLog文件在数据完全flush到hfile中时便会过期，被移动到.oldlog文件夹中。

HMaster上的定时线程HFileCleaner/LogCleaner周期性扫描.archive目录和.oldlog目录, 判断目录下的HFile或者HLog是否可以被删除，如果可以, 就直接删除文件。

关于hfile文件和hlog文件的过期时间，其中涉及到两个参数，如下： （1）hbase.master.logcleaner.ttl

HLog在.oldlogdir目录中生存的最长时间，过期则被Master的线程清理，默认是600000（ms）；

（2）hbase.master.hfilecleaner.plugins

HFile的清理插件列表，逗号分隔，被HFileService调用，可以自定义，默认org.apache.hadoop.hbase.master.cleaner.TimeToLiveHFileCleaner。

反编译hbase的代码，

在类org.apac

Hbase运维手册 1. region情况

需要检查

1. region的数量（总数和每台regionserver上的region数） 2. region的大小

如果发现异常可以通过手动merge region和手动分配region来调整 从CDH前台和master前台以及regionServer的前台都可以看到region数量，如master前台：

在region server前台可以看到storeFile大小：

2. 缓存命中率

缓存命中率对hbase的读有很大的影响，可以观察这个指标来调整blockcache的大小。

从regionserver web页面可以看到block cache的情况：

注意：

HBase上Regionserver的内存分为两个部分，一部分作为Memstore，主要用来写；另外一部分作为BlockCache，主要用于读。

写请求会先写入Memstore，Regionserver会给每个region提供列族数提供一定数量的Memstore，当Memstore满64MB以后，会启动 flush刷新到磁盘。当Memstore的总大小超过限制时（heapsize * hbase.regionse

1. 以下哪一项不属于Hadoop可以运行的模式___C___。 A. 单机（本地）模式 B. 伪分布式模式 C. 互联模式 D. 分布式模式

2. Hadoop的作者是下面哪一位__B____。 A. Martin Fowler B. Doug cutting C. Kent Beck D. Grace Hopper

3. 下列哪个程序通常与NameNode在同一个节点启动__D___。 A. TaskTracker B. DataNode

C. SecondaryNameNode D. Jobtracker

4. HDFS 默认 Block Size的大小是___B___。 A.32MB B.64MB C.128MB D.256M

5. 下列哪项通常是集群的最主要瓶颈____C__。 A. CPU B. 网络 C. 磁盘IO D. 内存

6. 下列关于MapReduce说法不正确的是_____C_。 A. MapReduce是一种计算框架

B. MapReduce来源于google的学术论文 C. MapReduce程序只能用java语言编写

D. MapReduce隐藏了并行计算的细节，方便使用

8. H

1. 以下哪一项不属于Hadoop可以运行的模式___C___。 A. 单机（本地）模式 B. 伪分布式模式 C. 互联模式 D. 分布式模式

2. Hadoop的作者是下面哪一位__B____。 A. Martin Fowler B. Doug cutting C. Kent Beck D. Grace Hopper

3. 下列哪个程序通常与NameNode在同一个节点启动__D___。 A. TaskTracker B. DataNode

C. SecondaryNameNode D. Jobtracker

4. HDFS 默认 Block Size的大小是___B___。 A.32MB B.64MB C.128MB D.256M

5. 下列哪项通常是集群的最主要瓶颈____C__。 A. CPU B. 网络 C. 磁盘IO D. 内存

6. 下列关于MapReduce说法不正确的是_____C_。 A. MapReduce是一种计算框架

B. MapReduce来源于google的学术论文 C. MapReduce程序只能用java语言编写

D. MapReduce隐藏了并行计算的细节，方便使用

8. H

1、集群部署介绍

1.1 Hadoop简介

Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统（HDFS，Hadoop Distributed Filesystem）和MapReduce（Google MapReduce的开源实现）为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。

对于Hadoop的集群来讲，可以分成两大类角色：Master和Salve。一个HDFS集群是由一个NameNode和若干个DataNode组成的。其中NameNode作为主服务器，管理文件系统的命名空间和客户端对文件系统的访问操作；集群中的DataNode管理存储的数据。MapReduce框架是由一个单独运行在主节点上的JobTracker和运行在每个集群从节点的TaskTracker共同组成的。主节点负责调度构成一个作业的所有任务，这些任务分布在不同的从节点上。主节点监控它们的执行情况，并且重新执行之前的失败任务；从节点仅负责由主节点指派的任务。当一个Job被提交时，JobTracker接收到提交作业和配置信息之后，就会将配置信息等分发给从节点，同时调度任务并监控TaskTracker的执行。

从上面的介绍可以