Apache HBase配置

《Apache HBase配置》要点：
本文介绍了Apache HBase配置，希望对您有用。如果有疑问，可以联系我们。

Apache HBase使用与Apache Hadoop相同的配置系统.所有配置文件都位于conf /目录中,该目录需要为集群中的每个节点坚持同步.

HBase配置文件阐明

• 备份主机

• 默认情况下不存在.一个纯文本文件,列出主机应启动备份主过程的主机,每行一个主机.

• hadoop-metrics2-hbase.properties

• 用于连接HBase Hadoop的Metrics2框架.有关Metrics2的更多信息,请参阅Hadoop Wiki条目.默认情况下仅包括已注释的示例.

• hbase-env.cmd和hbase-env.sh

• 用于Windows和Linux / Unix环境的脚本,用于为HBase设置工作环境,包括Java,Java选项和其他环境变量的位置.该文件包括许多注释的示例,以提供指导.

• hbase-policy.xml中

• RPC服务器用于对客户端哀求进行授权决策的默认策略配置文件.仅在启用HBase 安全性的情况下使用.

• hbase-site.xml

• 主HBase配置文件.此文件指定覆盖HBase的默认配置的配置选项.您可以查看(但不要编纂)docs / hbase-default.xml中的默认配置文件.您还可以在HBase Web UI 的HBase Configuration选项卡中查看集群的整个有效配置(缺省和覆盖).

• log4j.properties

• 用于HBase日志记录的配置文件log4j.

• 区域服务器

• 包括应在HBase集群中运行RegionServer的主机列表的纯文本文件.默认情况下,此文件包括单个条目localhost.它应该包括主机名或IP地址的列表,每行一个,并且应该包括localhost如果您的集群中的每个节点在其接口上运行一个localhostRegionServer.

检查XML有效性当您编辑XML时,最好使用支持XML的编辑器来确保您的语法是正确的,并且XML格式正确.您还可以使用该xmllint实用程序检查XML是否格式正确.默认情况下,xmllint返回并将XML打印到标准输出.要检查良好的结构,并且只有打印输出,如果错误存在,请使用命令xmllint -noout filename.xml.

保持配置在群集中同步在分布式模式下运行时,在对HBase配置进行编辑后,请确保将conf /目录的内容复制到集群的所有节点.HBase不会为你做这个.使用rsync,scp或另一种平安机制将配置文件复制到节点.对于大多数配置,服务器需要重新启动以接收更改异常是动态配置.将在下面描述.

4.基本先决条件

本节列出所需的服务和一些必须的系统配置.

表2. Java

HBase版本	JDK 6	JDK 7	JDK 8
2.0	不支持	不支持	是
1.3	不支持	是	是
1.2	不支持	是	是
1.1	不支持	是	运行JDK 8将工作,但没有很好的测试.
1.0	不支持	是	运行JDK 8将工作,但没有很好的测试.
0.98	是	是	使用JDK 8运行但没有很好的测试.使用JDK 8构建将需要删除类的已弃用的remove()办法,PoolMap并正在考虑中.有关JDK 8支持的更多信息,请参阅 HBASE-7608.
0.94	是	是	N / A

在HBase 0.98.5及更高版本中,必须JAVA_HOME在集群的每个节点上设置.hbase-env.sh提供了一个方便的机制来做到这一点.

操作系统实用程序

• ssh

• HBase广泛使用平安Shell(ssh)命令和实用程序在集群节点之间进行通信.集群中的每个服务器必须运行ssh,以便可以管理Hadoop和HBase后台驻留程序.您必须能够使用共享密钥而不是密码,通过SSH(包括本地节点)从主服务器以及任何备份主服务器连接到所有节点.您可以在“ 过程：配置无密码SSH访问 ” 中查看Linux或Unix系统中此类设置的基本方法.如果集群节点使用OS X,请参阅Hadoop wiki上的“ SSH：设置远程桌面和启用自助登录 ”一节.

• DNS

• HBase使用本地主机名自行申报其IP地址.正向和反向DNS解析必须在0.92.0之前的HBase版本中工作.在Hadoop的DNS检查器工具,可以用来验证DNS在群集上正常工作.项目README文件提供有关使用的详细说明.

• 环回IP

• 在hbase-0.96.0之前,HBase只使用IP地址127.0.0.1来引用localhost,并且这不能被配置.有关详细信息,请参阅环回IP.

• NTP

• 群集节点上的时钟应该同步.少量的变化是可以接受的,但更大的偏斜量可能导致不稳定和意想不到的行为.时间同步是在集群中看到无法解释的问题的首要检查之一.建议在集群上运行网络时间协议(NTP)服务或另一个时间同步机制,而且所有节点都查看同一服务以进行时间同步.请参阅基本NTP配置在Linux文档项目(TLDP)设置NTP.

• 文件和进程数量限制(ulimit)

• Apache HBase是一个数据库.它必要能够一次打开大量的文件.许多Linux发行版限制了允许单个用户打开的文件数1024(或者256在较旧版本的OS X上).您可以ulimit -n在运行HBase的用户登录时通过运行该命令在服务器上检查此限制.如果限制太低,可能会遇到一些问题,请参阅“疑难解答”部分.您也可能会注意到以下错误：

  2010-04-06 03：04：37,542 INFO org.apache.hadoop.hdfs.DFSClient：Exception increateBlockOutputStream java.io.EOFException 2010-04-06 03：04：37,542 INFO org.apache.hadoop.hdfs.DFSClient：放弃块blk_-6935524980745310745_1391901

  建议将ulimit提高到至少10,000,但更可能是10,240,因为该值通常用1024的倍数表现.每个ColumnFamily都至少有一个StoreFile,如果该区域有负载,则可能有多于六个StoreFiles.所需打开文件的数量取决于ColumnFamilies的数量和区域数量.以下是计算RegionServer上打开文件的可能数量的粗略公式.

  计算打开文件的可能数

  (StoreFiles per ColumnFamily)x(每个RegionServer的区域)

  例如,假设一个模式每个区域有3个ColumnFamilies,每个ColumnFamily平均有3个StoreFiles,并且每个RegionServer有100个区域,JVM将打开3 * 3 * 100 = 900文件描述符,而不是打开JAR文件,配置文件和其他文件.打开文件不必要很多资源,允许用户打开太多文件的风险极小.

  另一个相关设置是允许用户一次运行的进程数.在Linux和Unix中,使用ulimit -u命令设置进程数.这不该该与nproc命令混淆,该命令控制给定用户可用的CPU的数量.在负载下,ulimit -u太低可能导致OutOfMemoryError异常.请参阅杰克·莱文的主要HDFS问题线程在hbase用户邮件列表,从2011年.

  为运行HBase进程的用户配置最大文件描述符和进程数是操作系统配置,而不是HBase配置.确保为实际运行HBase的用户变动设置也很重要.要查看哪个用户启动HBase和该用户的ulimit配置,请查看该实例的HBase日志的第一行.对hadoop集群有用的读设置配置是Aaron Kimball的配置参数：你可以忽略什么?

  示例5. ulimitUbuntu上的设置

  要在Ubuntu上配置ulimit设置,请编纂/etc/security/limits.conf,它是一个由四列组成的以空格分隔的文件.有关此文件格式的详细信息,请参阅limits.conf的手册页.在以下示例中,第一行为使用用户名hadoop的操作系统用户将打开文件(nofile)的软限制和硬限制设置为32768.第二行将同一用户的进程数设置为32000.

  hadoop - nofile 32768 hadoop - nproc 32000

  仅当可插入认证模块(PAM)环境指向使用这些设置时,才应用这些设置.要配置PAM以使用这些限制,请确保/etc/pam.d/common-session文件包括以下行：

  session required pam_limits.so

• Linux Shell

• HBase附带的所有shell脚本都依赖于GNU Bash shell.

• 视窗

• 在HBase 0.96之前,在Microsoft Windows上运行HBase的测试有限.对于生产系统不建议在Windows节点上运行.

4.1.Hadoop

下表总结了每个版本的HBase支持的Hadoop的版本.基于HBase的版本,您应该选择最得当的Hadoop版本.您可以使用Apache Hadoop或供应商的Hadoop发行版.这里不作区分.有关Hadoop供应商的信息,请参阅Hadoop wiki.

建议使用Hadoop 2.x.Hadoop 2.x更快,并且包含短路读取等功能,这将有助于提高您的HBase随机读取配置文件.Hadoop 2.x还包含重要的错误修复,将提高您的整体HBase体验.HBase 0.98下降对Hadoop 1.0的支持,不推荐使用Hadoop 1.1+,而HBase 1.0将不支持Hadoop 1.x.

使用以下图例解释此表：

Hadoop版本支持矩阵

• “S”=支持

• “X”=不支持

• “NT”=未测试

	HBase-0.94.x	HBase-0.98.x(不保举支持Hadoop 1.1+).	HBase-1.0.x(不支持Hadoop 1.x)	HBase-1.1.x	HBase-1.2.x	HBase-1.3.x	HBase-2.0.x
Hadoop-1.0.x	X	X	X	X	X	X	X
Hadoop-1.1.x	S	NT	X	X	X	X	X
Hadoop-0.23.x	S	X	X	X	X	X	X
Hadoop-2.0.x-alpha	NT	X	X	X	X	X	X
Hadoop-2.1.0-beta	NT	X	X	X	X	X	X
Hadoop-2.2.0	NT	S	NT	NT	X	X	X
Hadoop-2.3.x	NT	S	NT	NT	X	X	X
Hadoop-2.4.x	NT	S	S	S	S	S	X
Hadoop-2.5.x	NT	S	S	S	S	S	X
Hadoop-2.6.0	X	X	X	X	X	X	X
Hadoop-2.6.1 +	NT	NT	NT	NT	S	S	S
Hadoop-2.7.0	X	X	X	X	X	X	X
Hadoop-2.7.1 +	NT	NT	NT	NT	S	S	S

Hadoop Pre-2.6.1和JDK 1.8 Kerberos当在Kerberos环境中使用2.6.1之前的Hadoop版本和JDK 1.8时,HBase服务器可能会失败并由于Kerberos keytab重新登录错误而中止.晚期版本的JDK 1.7(1.7.0_80)也有问题.有关其他详细信息,请参阅HADOOP-10786.在这种情况下,请考虑升级到Hadoop 2.6.1+.

Hadoop 2.6.x基于2.6.X的线的Hadoop发行版必须有 HADOOP-11710应用,如果你打算在一个HDFS加密区之上运行HBase的.否则将导致集群故障和数据丢失.此修补程序存在于Apache Hadoop 2.6.1+版本中.

Hadoop 2.7.xHadoop版本2.7.0未经测试或支持,因为Hadoop PMC已将该版本显式标记为不稳定.

替换与HBase捆绑的Hadoop!因为HBase依赖于Hadoop,它将Hadoop jar的一个实例捆绑在其lib目录下.捆绑的jar仅用于独立模式.在分布式模式下,至关重要的是,您的集群上的Hadoop版本与HBase下的版本相匹配.将HBase lib目录中找到的hadoop jar替换为您的群集上运行的hadoop jar,以避免版本不匹配问题.确保在集群中的任何地方替换HBase中的jar.Hadoop版本不匹配问题有各种表现,但往往都看起来像它挂了.

4.1.1.Apache HBase 0.94与Hadoop 2

要使0.94.x在Hadoop 2.2.0上运行,您必要在pom.xml中更改hadoop 2和protobuf版本：这里是一个与pom.xml更改的差异：

$ svn diff pom.xml Index: pom.xml =================================================================== --- pom.xml (revision 1545157) +++ pom.xml (working copy) @@ -1034,7 +1034,7 @@ <slf4j.version>1.4.3</slf4j.version> <log4j.version>1.2.16</log4j.version> <mockito-all.version>1.8.5</mockito-all.version> - <protobuf.version>2.4.0a</protobuf.version> + <protobuf.version>2.5.0</protobuf.version> <stax-api.version>1.0.1</stax-api.version> <thrift.version>0.8.0</thrift.version> <zookeeper.version>3.4.5</zookeeper.version> @@ -2241,7 +2241,7 @@ </property> </activation> <properties> - <hadoop.version>2.0.0-alpha</hadoop.version> + <hadoop.version>2.2.0</hadoop.version> <slf4j.version>1.6.1</slf4j.version> </properties> <dependencies>

下一步是重新生成Protobuf文件并假设Protobuf已经安装：

• 使用命令行转到HBase根文件夹;

• 键入以下命令：

  $ protoc -Isrc/main/protobuf --java_out=src/main/java src/main/protobuf/hbase.proto

  $ protoc -Isrc/main/protobuf --java_out=src/main/java src/main/protobuf/ErrorHandling.proto

通过运行类似以下命令来构建hadoop 2配置文件：

$ mvn clean install assembly：single -Dhadoop.profile = 2.0 -DskipTests

4.1.2.Apache HBase 0.92和0.94

HBase 0.92和0.94版本可以与Hadoop版本(0.20.205,0.22.x,1.0.x和1.1.x)一起使用.HBase-0.94还可以使用Hadoop-0.23.x和2.x,但是您可能必需使用特定的maven配置文件重新编译代码(参见顶级pom.xml)

4.1.3.Apache HBase 0.96

从Apache HBase 0.96.x开始,至少需要Apache Hadoop 1.0.x.强烈鼓励Hadoop 2(更快,但也有赞助MTTR的修复).我们将不再在较旧的Hadoops上正常运行,例如0.20.205或branch-0.20-append.如果您无法升级Hadoop,请不要移动到Apache HBase 0.96.x.参见HBase,mail＃dev - DISCUSS：hbase要求至少hadoop 1.0.0在hbase 0.96.0?

4.1.4.Hadoop版本0.20.x - 1.x

不要将年夜于2.2.0的Hadoop版本用于年夜于1.0的HBase版本.如果您使用的是旧版本的HBase for Hadoop相关信息,请查看发行文档.

4.1.5.Apache Hbase平安Hadoop

Apache HBase将在任何并入Hadoop平安功能的Hadoop 0.20.x上运行,只要您像上面建议的那样,并用平安版本替换HBase附带的Hadoop jar.如果要阅读有关如何设置Secure HBase的更多信息,请参阅hbase.secure.configuration.

4.1.6. dfs.datanode.max.transfer.threads

HDFS DataNode具有在任何时间将要服务的文件数量的上限.在执行任何加载之前,请确保您已配置Hadoop的conf / hdfs-site.xml,将dfs.datanode.max.transfer.threads值设置为至少以下值：

<property> <name>dfs.datanode.max.transfer.threads</name> <value>4096</value> </property>

进行上述配置后,请务必重新启动HDFS.

没有这个配置就会造成奇怪的故障.一种表示形式是关于缺失区块的投诉.例如：

10/12/08 20:10:31 INFO hdfs.DFSClient：无法获取块 blk_XXXXXXXXXXXXXXXXXXXXXX_YYYYYYYY来自任何节点：java.io.IOException：没有活动节点 包括当前块.将从namenode获取新的块位置并重试...

另请参见casestudies.max.transfer.threads并注意,此属性以前称为dfs.datanode.max.xcievers(例如Hadoop HDFS：由Xciever欺骗).

4.2.ZooKeeper要求

从HBase 1.0.0起,需要ZooKeeper 3.4.x.HBase利用multi只有从Zookeeper 3.4.0可用的功能.该hbase.zookeeper.useMulti配置属性默认为true在HBase的1.0.0.参考HBASE-12241(当服务器复制队列中断时复制时regionServer崩溃)和HBASE-6775(当HBASE-6710 0.92 / 0.94兼容性修复时使用ZK.multi)作为配景.该属性已弃用,并且在HBase 2.0中始终启用useMulti.

本日的学习就到这里,明天我们将学习

HBase运行模式：自力和分布式

《Apache HBase配置》是否对您有启发，欢迎查看更多与《Apache HBase配置》相关教程，学精学透。编程之家PHP学院为您提供精彩教程。