HBase官方指南(2015最新版本)-配置详解篇-for-baidu

更新时间:2023-04-13 08:28:01 阅读量: 实用文档 文档下载

说明:文章内容仅供预览,部分内容可能不全。下载后的文档,内容与下面显示的完全一致。下载之前请确认下面内容是否您想要的,是否完整无缺。

Apache Hbase最新官网指南中文翻译详细配置调优篇

1 Apache HBase 参考手册(2)详细配置调优篇

Version 2.0.0-SNAPSHOT

Apache Hbase最新官网指南中文翻译详细配置调优篇

2 目录

Apache HBase 配置 (9)

3.配置文件 (9)

4.先决条件(当然是部署HBase的咯) (11)

JDK环境表2. Java (11)

操作系统基础服务 (12)

ssh (12)

DNS (12)

Loopback IP (12)

NTP (13)

文件和进程的数量限制(与文件系统及程序的限制关系) (13)

Linux shell (15)

Windows (15)

4.1 Hadoop (15)

4.1.1 Apache HBase 0.94和Hadoop2 (18)

4.1.2 Apache HBase0.92和0.94 (19)

4.1.3 Apache HBase 0.96 (19)

4.1.4 Hadoop 0.20.x-1.x (20)

4.1.5 运行在安全的Hadoop上的HBase (20)

4.1.6关于dfs.datanode.max.transfer.threads (21)

4.2 Zookeeper (21)

5.HBase的运行模式:独立运行与分布式运行 (22)

5.1HBase独立运行模式 (22)

5.2HBase分布式模式 (22)

5.2.1伪分布式(Pseudo-distributed) (23)

5.3完全分布式(Fully-distributed) (23)

分布式的RegionServer (23)

Zookeeper与HBase (24)

分布式HBase快速入门 (25)

HDFS客户端配置步骤 (25)

6.运行验证你的安装 (25)

7.默认配置 (27)

7.1hbase-site.xml和hbase-default.xml (27)

7.2HBase默认配置参数说明 (27)

hbase.tmp.dir (27)

hbase.rootdir (28)

hbase.fs.tmp.dir (28)

hbase.bulkload.staging.dir (28)

hbase.cluster.distributed (29)

Hbase.zookeeper.quorum (29)

hbase.local.dir (29)

Apache Hbase最新官网指南中文翻译详细配置调优篇

3 hbase.master.port (30)

7110c790be23482fb5da4c97.port (30)

7110c790be23482fb5da4c97.bindAddress (30)

hbase.master.logcleaner.plugins (30)

hbase.master.logcleaner.ttl (31)

hbase.master.hfilecleaner.plugins (31)

hbase.master.catalog.timeout (31)

7110c790be23482fb5da4c97server.redirect (32)

hbase.regionserver.port (32)

7110c790be23482fb5da4c97.port (32)

7110c790be23482fb5da4c97.bindAddress (32)

7110c790be23482fb5da4c97.port.auto (33)

hbase.regionserver.handler.count (33)

hbase.ipc.server.callqueue.handler.factor (33)

hbase.ipc.server.callqueue.read.ratio (34)

hbase.ipc.server.callqueue.scan.ratio (35)

hbase.regionserver.msginterval (36)

hbase.regionserver.logroll.period (36)

hbase.regionserver.logroll.errors.tolerated (36)

hbase.regionserver.hlog.reader.impl (37)

hbase.regionserver.hlog.writer.impl (37)

hbase.regionserver.global.memstore.size (37)

hbase.regionserver.global.memstore.size.lower.limit (38)

hbase.regionserver.optionalcacheflushinterval (38)

hbase.regionserver.catalog.timeout (39)

hbase.regionserver.dns.interface (39)

7110c790be23482fb5da4c97server (39)

hbase.regionserver.region.split.policy (40)

hbase.regionserver.regionSplitLimit (40)

zookeeper.session.timeout (41)

zookeeper.znode.parent (42)

zookeeper.znode.rootserver (42)

zookeeper.znode.acl.parent (43)

hbase.zookeeper.dns.interface (43)

7110c790be23482fb5da4c97server (43)

hbase.zookeeper.peerport (44)

hbase.zookeeper.leaderport (44)

7110c790be23482fb5da4c97eMulti (44)

hbase.zookeeper.property.initLimit (45)

hbase.zookeeper.property.syncLimit (45)

hbase.zookeeper.property.dataDir (46)

hbase.zookeeper.property.clientPort (46)

hbase.zookeeper.property.maxClientCnxns (46)

hbase.client.write.buffer (47)

Apache Hbase最新官网指南中文翻译详细配置调优篇

4 hbase.client.pause (47)

hbase.client.retries.number (48)

hbase.client.max.total.tasks (48)

hbase.client.max.perserver.tasks (49)

hbase.client.max.perregion.tasks (49)

hbase.client.scanner.caching (49)

hbase.client.keyvalue.maxsize (50)

hbase.client.scanner.timeout.period (51)

hbase.client.localityCheck.threadPoolSize (51)

hbase.bulkload.retries.number (51)

hbase.balancer.period (52)

hbase.normalizer.enabled (52)

hbase.normalizer.period (52)

hbase.regions.slop (53)

hbase.server.thread.wakefrequency (53)

hbase.server.versionfile.writeattempts (53)

hbase.hregion.memstore.flush.size (54)

hbase.hregion.percolumnfamilyflush.size.lower.bound.min (54)

hbase.hregion.preclose.flush.size (55)

hbase.hregion.memstore.block.multiplier (56)

hbase.hregion.memstore.mslab.enabled (56)

hbase.hregion.max.filesize (57)

hbase.hregion.majorcompaction (57)

hbase.hregion.majorcompaction.jitter (58)

7110c790be23482fb5da4c97pactionThreshold (59)

hbase.hstore.flusher.count (59)

hbase.hstore.blockingStoreFiles (60)

hbase.hstore.blockingWaitTime (60)

7110c790be23482fb5da4c97paction.min (61)

7110c790be23482fb5da4c97paction.max (61)

7110c790be23482fb5da4c97paction.min.size (61)

7110c790be23482fb5da4c97paction.max.size (62)

7110c790be23482fb5da4c97paction.ratio (62)

7110c790be23482fb5da4c97paction.ratio.offpeak (63)

hbase.hstore.time.to.purge.deletes (63)

hbase.offpeak.start.hour (63)

hbase.offpeak.end.hour (63)

7110c790be23482fb5da4c97paction.throttle (64)

7110c790be23482fb5da4c97paction.kv.max (64)

hbase.storescanner.parallel.seek.enable (64)

hbase.storescanner.parallel.seek.threads (65)

hfile.block.cache.size (65)

hfile.block.index.cacheonwrite (65)

Apache Hbase最新官网指南中文翻译详细配置调优篇

5 hfile.index.block.max.size (65)

hbase.bucketcache.ioengine (66)

7110c790be23482fb5da4c97binedcache.enabled (66)

hbase.bucketcache.size (66)

hbase.bucketcache.sizes (66)

hfile.format.version (67)

hfile.block.bloom.cacheonwrite (67)

io.storefile.bloom.block.size (67)

hbase.rs.cacheblocksonwrite (68)

hbase.rpc.timeout (68)

hbase.cells.scanned.per.heartbeat.check (68)

hbase.rpc.shortoperation.timeout (68)

hbase.ipc.client.tcpnodelay (69)

hbase.regionserver.hostname (69)

hbase.master.keytab.file (69)

hbase.master.kerberos.principal (70)

hbase.regionserver.keytab.file (70)

hbase.regionserver.kerberos.principal (70)

hadoop.policy.file (70)

hbase.superuser (71)

hbase.auth.key.update.interval (71)

hbase.auth.token.max.lifetime (71)

hbase.ipc.client.fallback-to-simple-auth-allowed (71)

hbase.ipc.server.fallback-to-simple-auth-allowed (72)

hbase.display.keys (72)

hbase.coprocessor.enabled (72)

7110c790be23482fb5da4c97er.enabled (73)

hbase.coprocessor.region.classes (73)

hbase.rest.port (73)

hbase.rest.readonly (74)

hbase.rest.threads.max (74)

hbase.rest.threads.min (74)

hbase.rest.support.proxyuser (74)

hbase.defaults.for.version.skip (75)

hbase.coprocessor.master.classes (75)

hbase.coprocessor.abortonerror (75)

hbase.online.schema.update.enable (76)

hbase.table.lock.enable (76)

hbase.table.max.rowsize (76)

hbase.thrift.minWorkerThreads (76)

hbase.thrift.maxWorkerThreads (77)

hbase.thrift.maxQueuedRequests (77)

hbase.thrift.htablepool.size.max (77)

hbase.regionserver.thrift.framed (78)

Apache Hbase最新官网指南中文翻译详细配置调优篇

6 hbase.regionserver.thrift.framed.max_frame_size_in_mb .. 78 7110c790be23482fb5da4c97pact (78)

hbase.rootdir.perms (78)

hbase.data.umask.enable (79)

hbase.data.umask (79)

hbase.metrics.showTableName (79)

hbase.metrics.exposeOperationTimes (79)

hbase.snapshot.enabled (80)

hbase.snapshot.restore.take.failsafe.snapshot (80)

7110c790be23482fb5da4c97 (80)

7110c790be23482fb5da4c97pactchecker.interval.multiplier (80)

hbase.lease.recovery.timeout (81)

hbase.lease.recovery.dfs.timeout (81)

hbase.column.max.version (81)

dfs.client.read.shortcircuit (82)

dfs.domain.socket.path (82)

hbase.dfs.client.read.shortcircuit.buffer.size (82)

hbase.regionserver.checksum.verify (82)

hbase.hstore.bytes.per.checksum (83)

hbase.hstore.checksum.algorithm (83)

hbase.client.scanner.max.result.size (83)

hbase.server.scanner.max.result.size (84)

hbase.status.published (84)

hbase.status.publisher.class (84)

hbase.status.listener.class (85)

hbase.status.multicast.address.ip (85)

hbase.status.multicast.address.port (85)

hbase.dynamic.jars.dir (85)

hbase.security.authentication (86)

hbase.rest.filter.classes (86)

hbase.master.loadbalancer.class (86)

hbase.master.normalizer.class (86)

hbase.security.exec.permission.checks (87)

hbase.procedure.regionserver.classes (87)

hbase.procedure.master.classes (87)

hbase.coordinated.state.manager.class (88)

hbase.regionserver.storefile.refresh.period (88)

hbase.region.replica.replication.enabled (88)

hbase.http.filter.initializers (89)

hbase.security.visibility.mutations.checkauths (89)

hbase.http.max.threads (89)

hbase.replication.rpc.codec (90)

hbase.replication.source.maxthreads (90)

7110c790be23482fb5da4c97er (90)

Apache Hbase最新官网指南中文翻译详细配置调优篇

7

hbase.regionserver.handler.abort.on.error.percent (91)

hbase.mob.file.cache.size (91)

hbase.mob.cache.evict.period (91)

hbase.mob.cache.evict.remain.ratio (91)

7110c790be23482fb5da4c97paction.ratio (92)

7110c790be23482fb5da4c97paction.mergeable.size (92)

7110c790be23482fb5da4c97paction.memstore.flush.size (92)

hbase.master.mob.ttl.cleaner.period (93)

7110c790be23482fb5da4c97paction.mergeable.threshold (93)

hbase.mob.delfile.max.count (93)

7110c790be23482fb5da4c97paction.batch.size (94)

7110c790be23482fb5da4c97paction.chore.period (94)

7110c790be23482fb5da4c97pactor.class (95)

7110c790be23482fb5da4c97paction.threads.max (95)

7110c790be23482fb5da4c97lis (95)

hbase.snapshot.region.timeout (96)

7.3 hbase-env.sh (96)

7.4 log4j.properties (96)

7.5 客户端连接到HBase的配置和依赖 (97)

7.5.1 java client 端配置 (98)

8.配置实例 (98)

8.1HBase基本的分布式配置 (98)

8.1.1hbase-site.xml (98)

8.1.2. regionservers (99)

8.1.3. hbase-env.sh (100)

9.重要的配置 (100)

9.1必须的配置 (100)

9.1.1 大集群配置 (101)

9.1.2 如果有backup Master,请将primary Master配置为fail fast (101)

9.2推荐配置 (101)

9.2.1zookeeper 配置 (101)

zookeeper.session.timeout (101)

Number of ZooKeeper Instances (102)

9.2.2 HDFS配置 (102)

dfs.datanode.failed.volumes.tolerated (102)

9.2.3. hbase.regionserver.handler.count (102)

9.2.4. 配置大内存的机器 (103)

9.2.5压缩 (103)

9.2.6. 配置WAL 文件的数量和大小 (103)

9.2.7. Managed Splitting(管理region切分) (104)

9.2.8. 管理合并(Managed Compactions) (105)

9.2.9. 预测执行(Speculative Execution) (106)

9.3. 其他配置(Other Configurations) (106)

9.3.1. 负载均衡(Balancer) (106)

Apache Hbase最新官网指南中文翻译详细配置调优篇

8

9.3.2. 禁止块缓存(Disabling Blockcache) (106)

9.3.3.Nagle算法或小包问题(Nagle’s or the small package problem) (107)

9.3.4.更好的平均恢复时间(Better Mean Time to Recover (MTTR)) (107)

9.3.5. JMX (109)

10. 动态配置(Dynamic Configuration) (111)

Apache Hbase最新官网指南中文翻译详细配置调优篇

Apache HBase 配置

本章在上一章的基础之上进一不深入介绍Apache Hbase的配置。请你仔细阅读这一章,尤其是哪些【基本要求】,这将让你顺利的进行测试和部署,并防止数据丢失。

3.配置文件

apache hbase和apache hadoop采用一样的配置系统。集群中所有的节点都必须同步配置文件到conf/目录。

HBase 配置文件描述

backup-masters

默认情况下这个文件是不存在的。这是一个用来记录在HMster节点上需要启动bakeup Master进程的主机清单,一个主机一行,明文存储。

hadoop-metrics2-hbase.properties

hbase-env.cmd and hbase-env.sh

分别是在windows和linux下hbase的工作环境设置文件,包括java 的安装目录,java的配置信息和其他环境参数。这个文件中有一些注释掉的配置例子。

hbase-policy.xml

9

Apache Hbase最新官网指南中文翻译详细配置调优篇

动时才有效。

hbase-site.xml

主要的HBase配置文件。这个文件中的配置信息将覆盖默认配置。你可以参考/docs/hbase-default.xml文件中的默认配置,但不要编辑它,仅仅参考就可以了。当然你也可以同过HBase的web ui中的HBase Configuration 标签下查看你整个集群的有效配置。

log4j.properties

通过log4j配置HBase的日志配置文件。

regionservers

一个用来记录需要启动regionServer进程主机的明文文件。默认情况下只有localhost一条记录。这个文件中记录着主机名或ip地址清单,一行一个,如果集群中的任何要在其localhost接口上运行regionServer的节点,在这个文件中只能包含localhost一条记录。

10

Apache Hbase最新官网指南中文翻译详细配置调优篇

4.先决条件(当然是部署HBase的咯)

这部分将列出部署HBase所需要的基础服务及必须的系统配置。JDK环境

表2. Java

11

Apache Hbase 最新官网指南中文翻译 详细配置调优篇

12

操作系统基础服务

ssh

HBase 采用ssh 服务来进行集群中所有节点之间的通讯。集群中的

所有服务器都必须运行ssh 服务以便管理Hadoop 和Hbase 的服务。

你必须保证能应用ssh 命令能访问集群中的任何一台机器,

包括localhost 节点哦,不管是主节点还是后备节点,使用共享密钥总要比口令好的多。如果你采

DNS

HBase 应用本地主机名来向它自己报告IP 地址。在HBase0.92及之前版本都必须要正向和反向的DNS dns 是否工作正常。项目README 文件提供了关于使用的详细说明。

Loopback IP

HBase0.96及之前版本,HBase 仅仅采用127.0.0.1作为localhost 的对应的ip 地址,而且不能被配置。详细信息请参考【之一中的Loopback IP 】。

Apache Hbase 最新官网指南中文翻译 详细配置调优篇

13

NTP

在集群中所有机器的时钟是需要同步的。小的偏差是可以的,但大的偏差将导致不稳定和意外的问题。当你碰到无法解释的问题是,你应该第一时间检查时间是否同步。建议您的集群中运行NTP (Net Time Protocl )服务或其他的时间同步服务,集群中所与的节点都以这个服务时间为准。参考

NTP 服务。

文件和进程的数量限制(与文件系统及程序的限制关系)

Apache HBase 是一个数据库。它需要一次打开很多文件。很多linux 系统都限制一个用户代开的文件个数不能超过1024个(很多老版本的OSX 系统只允许打开256个)。你可以用运行HBase 的用户登录系统,然后用ulimit -n

命能会碰到如下错误信息:

2010-04-06 03:04:37,542 INFO

org.apache.hadoop.hdfs.DFSClient: Exception

increateBlockOutputStream java.io.EOFException

2010-04-06 03:04:37,542 INFO

org.apache.hadoop.hdfs.DFSClient: Abandoning block

blk_-6935524980745310745_1391901

推荐最好把限制提高到10000,但更有可能是配置为10240,因为通常配置值一般都是1024的倍数。每个ColumnFamily 最少需要一个StoreFile ,而且当一个region 正在加载时可能同时打开6个以上的StroeFile 。打开的文件数量的需求取决于ColumnFamilies 的数量和region 的数量。下面提供一个不是很准确的算法来估算一个RegionServer 上需要同时打开文件的数量。

算法:计算一个RegionServer 上需要同时打开的文件数量

Apache Hbase最新官网指南中文翻译详细配置调优篇

(每个ColumnFamily需要的StoreFile数量) x (每个regionserver上的region 数量)

比如,假设我们的schema中定义每个region中包含3个ColumnFamilies,平均每个ColumnFamilies需要三个StoreFile,同时每个RegionServer上有100个region,那么JVM虚拟机可能需要同时打开3*3*100=900个文件,而且不包括jar,配置文件等其他文件,打开一个文件并不需要耗费太多的资源,打开很多文件给系统带来的风险也是很小的。

另一个相关的设置是系统同时允许启动的进程数。在linux和unix系统中你可以采用ulimit –u命令去查看。这个不要与分配用户cpu资源的命令nproc 混淆。配置过低将会引起OutOfMemoryError 异常。See Jack Levin’s major HDFS issues thread on the hbase-users mailing list, from 2011.?

为使用HBase的用户配置最大文件打开数目和进程数目不是HBase的配置而是一项操作系统的配置。同样重要的是检查配置是否是针对将要运行HBase用户的,要确认这个只需要检查一下对应HBase进程的log日志的第一行就可以了。A useful read setting config on your hadoop cluster is Aaron Kimball’s Configuration Parameters: What can you just ignore?

例6. Ulimit在Ubuntu上的设置

在ubuntu系统中编辑/etc/security/limits.conf文件,这是一个四行以空格分隔的文件。你可以参考limits.conf文件的用户手册以获得更多的格式信息。在下面的例子中,第一行为操作系统的用户hadoop设置通过软件或硬件打开文件的总数量为32768。第二行为同一个用户配置最大进程数为32000。

hadoop - nofile 32768

hadoop - nproc 32000

可以使这些配置只在Pluggable Authentication Module(PAM)环境中生效。为了配置PAM使用这些配置,要确认在/etc/pam.d/common-session文件中添加了下面这行:

14

Apache Hbase 最新官网指南中文翻译 详细配置调优篇

15 session required pam_limits.so

Linux shell

所有域HBase 相关的shell 脚本都依赖于

Windows

0.96及之前的版本是不支持在Windows 版本上测试运行的。到目前为止在windows 系统之上不建议运行生产环境节点。

4.1 Hadoop

下面表中标注了不同HBase 版本所需要或支持的Hadoop 版本。根据不同的版本,你应该选择最合适的Hadoop 版本。你可以用Apache 提供的Hadoop ,也可以使用不同提供商发布的版本,没有太大区别。关于其他Hdoop 提供商的信息请参考

使用下面的图例来解释这个表:

Hadoop 版本支持矩阵

?

"S" = 支持 ?

"X" = 不支持 ?

"NT" = 没有测试

Apache Hbase最新官网指南中文翻译详细配置调优篇

16

Apache Hbase最新官网指南中文翻译详细配置调优篇

17

Apache Hbase最新官网指南中文翻译详细配置调优篇

补充说明:

Hadoop 2.6.x

如果你计划将你的HBase运行在一个HDFS的加密分区上,那么你的Hadoop必须是支持 HADOOP-11710的2.6.x版本。如果不是讲导致集群故障和丢失数据。

Hadoop 2.7.x

Hadoop2.7.x还没有经过完全测试,还没有稳定的发布版本。

替换hbase中绑定hadoop的jar

由于HBase依赖于Hadoop,所以在HBase的lib目录下有Hadoop的相关jar包。这个绑定的jar包只有在standalone模式下才起作用。在分布式模式下,它是用来鉴定Hadoop集群的版本与HBase下的版本是否一致的。你应该用集群中hadoop中的jar文件替换hbase lib目录下的hadoop jar文件以避免版本冲突。一定要确认在集群中所有有这个jar的地方都要替换。Hadoop 版本不匹配问题有各种各样的表现,但通常它看起来像是挂起。

4.1.1 Apache HBase 0.94和Hadoop2

为了让0.94版本能运行在Hadoop2.2.0版本之上,你需要修改pom.xml文件中的hadoop2和protobuf版本。下面是修改的地方:

$ svn diff pom.xml

Index: pom.xml

========================================================= ==========

--- pom.xml (revision 1545157)

+++ pom.xml (working copy)

@@ -1034,7 +1034,7@@

1.4.3

1.2.16

1.8.5

18

Apache Hbase最新官网指南中文翻译详细配置调优篇

- 2.4.0a

+ 2.5.0

1.0.1

0.8.0

3.4.5

@@ -2241,7 +2241,7@@

- 2.0.0-alpha

+ 2.2.0

1.6.1

接下来是重新生成Protobuf文件,当然需要先安装Protobuf。

●从命令行进入HBase的根目录;

●运行以下命令

$ protoc -Isrc/main/protobuf --java_out=src/main/java src/main/protobuf/hbase.proto

$ protoc -Isrc/main/protobuf --java_out=src/main/java src/main/protobuf/ErrorHandling.proto

应用如下命令重新构建Hadoop2

$ mvn clean install assembly:single

-Dhadoop.profile=2.0 -DskipTests

4.1.2 Apache HBase0.92和0.94

这两个版本都可以运行在Hadoop 0.20.205, 0.22.x, 1.0.x, and 1.1.x版本之上。此外通过使用指定的maven配置文件重新编译后HBase0.94还能运行

在 Hadoop-0.23.x and 2.x版本之上。

4.1.3 Apache HBase 0.96

HBase0.96支持的最低Hadoop版本为 1.0.x。强烈建议使用Hadoop2以上版本(不仅更快而且更有利于系统稳定和故障回复)。我们将不再对老版本19

Apache Hbase 最新官网指南中文翻译 详细配置调优篇

20 hadoop 进行支持比如 0.20.205 or branch-0.20-append 。如果你的Hadoop 不能

4.1.4 Hadoop 0.20.x-1.x

如果不是运行在持续更新的HDFS 之上那么HBase 将会丢失数据。所以不建议使用Hadoop0.20.2版本和Hadoop 0.20.203.0,Hadoop 0.20.204.0这些没有持续更新的版本。目前只有 0.20.205.x 或之上的发布版本,包括 hadoop-1.0.0

Hadoop 之间的关系。如果你限于hadoop 版本的泥沼之中的话值得你一看。

要实现同步更新必须在客户端hbase-site.xml 文件中显示的配置

dfs.support.append 属性,在服务器端配置hdfs-site.xml 文件(HBase 所需要的同步更新工具是附加代码路径的一个子集; dfs.support.append true

更新完这个配置后你需要重新启动你的集群。忽略那些你在hdfs-default.xml 和配置dfs.support.append 的描述中的的小评论。

4.1.5 运行在安全的Hadoop 上的HBase

只要你按上面的建议用安全的Hadoopjar 包替换Hbase 中自带的jar

包就可以使HBase 运行在具备安全特性的Hadoop0.20.x 版本之上。如果你想得到更多关于怎么配置安全的HBase

Apache Hbase 最新官网指南中文翻译 详细配置调优篇

21

4.1.6关于 dfs.datanode.max.transfer.threads

一个HDFS Datanode 同时打开的文件数量是有上限的。在做任何加载之前,请确认你的conf/hdfs-site.xml 文件中的dfs.datanode.max.transfer.threads 属性最小值不小于下例中的值:

dfs.datanode.max.transfer.threads

4096

配置完后需要重启的哦。

如果没有配置这个属性将会导致各种奇怪的失败。一个主要的表现就是块丢失。 比如出现以下问题: 10/12/08 20:10:31 INFO hdfs.DFSClient: Could not obtain block

blk_XXXXXXXXXXXXXXXXXXXXXX_YYYYYYYY from any node: java.io.IOException: No live nodes

contain current block. Will get new block locations from namenode and retry...

dfs.datanode.max.xcievers (例:Hadoop HDFS: Deceived by Xciever )

4.2 Zookeeper

HBase1.0需要ZooKeeper 3.4.x 的支持。HBase 的multi 功能是基于

3.4.0的(在HBase 1.0.0 useMulti 配置选项默认值为true )。

参考:

本文来源:https://www.bwwdw.com/article/rx3l.html

Top