hbase官方文档

HBase官方文档

Copyright ? 2010 Apache Software Foundation,盛大游戏-数据仓库团队-颜开(译)

Abstract

这是Apache HBase的官方文档, Hbase是一个分布式,版本化(versioned)，构建在Apache Hadoop和Apache ZooKeeper上的列数据库.

我(译者)熟悉Hbase的源代码，从事Hbase的开发运维工作，如果有什么地方不清楚，欢迎一起讨论。邮箱yankaycom@2edb127ea8956bec0975e35b

Table of Contents

序

1. 入门

1.1. 介绍

1.2. 快速开始

1.2.1. 下载解压最新版本

1.2.2. 启动 HBase

1.2.3. Shell 练习

1.2.4. 停止 HBase

1.2.5. 下一步该做什么

1.3. 慢速开始(相对快速开始)

1.3.1. 需要的软件

1.3.

2. HBase运行模式:单机和分布式

1.3.3. 配置例子

2. 升级

2.1. 从HBase 0.20.x or 0.89.x 升级到 HBase 0.90.x

3. 配置

3.1. hbase-site.xml 和 hbase-default.xml

3.1.1.

Apache Hbase最新官网指南中文翻译详细配置调优篇

1 Apache HBase 参考手册（2）详细配置调优篇

Version 2.0.0-SNAPSHOT

Apache Hbase最新官网指南中文翻译详细配置调优篇

2 目录

Apache HBase 配置 (9)

3.配置文件 (9)

4.先决条件（当然是部署HBase的咯） (11)

JDK环境表2. Java (11)

操作系统基础服务 (12)

ssh (12)

DNS (12)

Loopback IP (12)

NTP (13)

文件和进程的数量限制（与文件系统及程序的限制关系） (13)

Linux shell (15)

Windows (15)

4.1 Hadoop (15)

4.1.1 Apache HBase 0.94和Hadoop2 (18)

4.1.2 Apache HBase0.92和0.94 (19)

4.1.3 Apache HBase 0.96 (19)

4.1.4 Hadoop 0.20.x-1.x (20)

4.1.5 运行在安全的Hadoop上的HBase (20)

4.1.6关于dfs.datanode.max.transfer.threads (21)

4.2 Zookeeper (21)

Hbase的安装与配置

2015年5月16日 10:44

[1]安装jdk（用户：root）

新建文件夹“/usr/share/java_1.6”，把jdk-6u45-linux-x64.bin上传至“/usr/share/java_1.6”文件夹下。 执行命令：

cd /usr/share/java_1.6

chmod +x jdk-6u45-linux-x64.bin ./jdk-6u45-linux-x64.bin

[2]添加Java环境变量（用户：etl）

修改“/home/etl/.bash_profile”，加上以下三句配置： export JAVA_HOME=/usr/share/java_1.6/jdk1.6.0_45 export PATH=$JAVA_HOME/bin:$PATH

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

[3]安装hbase（用户：etl）

把hbase-0.98.7-hadoop2-bin.tar.gz上传至“/home/etl/_jyy/” 执行命令：

cd /home/etl/_jyy/

tar xfz

1. 快速单击安装

在单机安装Hbase的方法。会引导你通过shell创建一个表，插入一行，然后删除它，最后停止Hbase。只要10分钟就可以完成以下的操作。

1.1下载解压最新版本 选择一个 Apache 下载镜像：

http://www.apache.org/dyn/closer.cgi/hbase/，下载 HBase Releases. 点击 stable目录，然后下载后缀为 .tar.gz 的文件; 例如 hbase-0.90.4.tar.gz.

后面需要安装集群，整合到hadoop，所以注意选择与hadoop对应的版本：

选择 Hadoop 版本对HBase部署很关键。下表显示不同HBase支持的Hadoop版本信息。基于HBase版本，应该选择合适的Hadoop版本。我们没有绑定 Hadoop 发行版选择。可以从Apache使用 Hadoop 发行版，或了解一下Hadoop发行商产

品： http://wiki.apache.org/hadoop/Distributions and Commercial Support Table 2.1. Hadoop version support matrix

Hadoop-0.20.2

Hbase运维手册 1. region情况

需要检查

1. region的数量（总数和每台regionserver上的region数） 2. region的大小

如果发现异常可以通过手动merge region和手动分配region来调整 从CDH前台和master前台以及regionServer的前台都可以看到region数量，如master前台：

在region server前台可以看到storeFile大小：

2. 缓存命中率

缓存命中率对hbase的读有很大的影响，可以观察这个指标来调整blockcache的大小。

从regionserver web页面可以看到block cache的情况：

注意：

HBase上Regionserver的内存分为两个部分，一部分作为Memstore，主要用来写；另外一部分作为BlockCache，主要用于读。

写请求会先写入Memstore，Regionserver会给每个region提供列族数提供一定数量的Memstore，当Memstore满64MB以后，会启动 flush刷新到磁盘。当Memstore的总大小超过限制时（heapsize * hbase.regionse

HBase的数据主要存储在分布式文件系统HFile和HLog两类文件中。Compaction操作会将合并完的不用的小Hfile移动到<.archive>文件夹，并设置ttl过期时间。HLog文件在数据完全flush到hfile中时便会过期，被移动到.oldlog文件夹中。

HMaster上的定时线程HFileCleaner/LogCleaner周期性扫描.archive目录和.oldlog目录, 判断目录下的HFile或者HLog是否可以被删除，如果可以, 就直接删除文件。

关于hfile文件和hlog文件的过期时间，其中涉及到两个参数，如下： （1）hbase.master.logcleaner.ttl

HLog在.oldlogdir目录中生存的最长时间，过期则被Master的线程清理，默认是600000（ms）；

（2）hbase.master.hfilecleaner.plugins

HFile的清理插件列表，逗号分隔，被HFileService调用，可以自定义，默认org.apache.hadoop.hbase.master.cleaner.TimeToLiveHFileCleaner。

反编译hbase的代码，

在类org.apac

Hbase运维手册 1. region情况

需要检查

1. region的数量（总数和每台regionserver上的region数） 2. region的大小

如果发现异常可以通过手动merge region和手动分配region来调整 从CDH前台和master前台以及regionServer的前台都可以看到region数量，如master前台：

在region server前台可以看到storeFile大小：

2. 缓存命中率

缓存命中率对hbase的读有很大的影响，可以观察这个指标来调整blockcache的大小。

从regionserver web页面可以看到block cache的情况：

注意：

HBase上Regionserver的内存分为两个部分，一部分作为Memstore，主要用来写；另外一部分作为BlockCache，主要用于读。

写请求会先写入Memstore，Regionserver会给每个region提供列族数提供一定数量的Memstore，当Memstore满64MB以后，会启动 flush刷新到磁盘。当Memstore的总大小超过限制时（heapsize * hbase.regionse

Deploying Oracle RAC 11g R2 Database on Red Hat Enterprise Linux 6

Best Practices

Roger Lopez, Sr. Software Engineer

RHCE

Version 1.0

September 2013

1801 Varsity Drive?

Raleigh NC 27606-2072 USA

Phone: +1 919 754 3700

Phone: 888 733 4281

Fax: +1 919 754 3701

PO Box 13588

Research Triangle Park NC 27709 USA

Linux is a registered trademark of Linus Torvalds. Red Hat, Red Hat Enterprise Linux and the Red Hat "Shadowman" logo are registered trademarks of Red Hat, Inc. in the United States and other countries.

Oracle and Java are registered t

Codis 官方使用文档 豌豆荚redis分布式

集群

Codis 是一个分布式 Redis 解决方案, 对于上层的应用来说, 连接到 Codis Proxy 和连接原生的 Redis Server 没有明显的区别 (不支持的命令列表), 上层应用可以像使用单机的 Redis 一样使用, Codis 底层会处理请求的转发, 不停机的数据迁移等工作, 所有后边的一切事情, 对于前面的客户端来说是透明的, 可以简单的认为后边连接的是一个内存无限大的 Redis 服务.Codis 由四部分组成:

? Codis Proxy (codis-proxy) ? Codis Manager (codis-config) ? Codis Redis (codis-server) ? ZooKeeper

codis-proxy 是客户端连接的 Redis 代理服务, codis-proxy 本身实现了 Redis 协议, 表现得和一个原生的 Redis 没什么区别 (就像 Twemproxy), 对于一个业务来说, 可以部署多个 codis-proxy, codis-proxy 本身是无状态的.

codis-config 是 Codis 的管理工具, 支持包括,

P2000 G3的SMU配置

SMU登录与相关信息查看

在P2000 G3的A控制器管理端口上插入网线，然后与主机相连，在主机端的IE浏览器输入A控制器默认的管理IP地址（10.0.0.2），输入默认用户名（manage）和密码(!manage)，然后选择语言为简体中文，点击Sign In登录

进入之后出现的是整个P2000 G3的概况

可以点击系统事件中的各种事件符号查看事件，也可直接点击视图中的事件日志进行查看

点击系统概况中磁盘的状态，可以看到当前状态为AVAIL，即还没有做阵列

点击左侧配置视图中的物理---机箱，然后右侧会出现机箱概况，通过正面图形，可以看到P2000 G3当前硬盘状态和机箱状态。其中机箱属性中：中板序列号即为本台存储的S/N号。

点击背面图形，可以查看当前存储的硬件故障信息，因为B控制器的管理接口没接网线，另外一个电源没有接线，所以会有报错。

配置向导

第一次进入SMU，可以通过配置向导来更改系统的基本配置。选中左侧配置视图中的P2000 G3，然后点击菜单栏：配置---配置向导

密码设置（可以更改manage和monitor用户的密码）

网络配置（可以更改两个控制器的管理IP地址）

启用或者禁用系统管理服务