一周一个中间件-hbase

前言

hbase是大数据的生态的一部分,是高可靠性、高性能、列存储、可伸缩、实时读写的数据库系统。介于nosql和RDBMS之间。主要存储非结构化和半结构化的松散数据。

海量数据存储
快速随机访问
大量写操作的应用

背景

我们公司现在需要一套监控系统,并且需要存储一系列的用户访问数据,这些数据很松散,现在看起来无关紧要的数据但是确实潜在的用户行为数据。之后会帮助我们分心用户行为,为我们提供个性化数据作为依据。
在综合现在主流的监控系统,cat,pinpoint,zikpin,SkyWalking等监控系统。我们选择了pinpoint这个基于字节码注入的调用链分析。所消耗的性能低,无代码侵入性。但是搭建pinpoint时,需要使用hbase作为存储数据的数据库

知识准备

  • region

RegionServer.理解为数据节点,存储数据的
region服务器的内存主要服务于内部数据结构。你需要64位操作系统和使用大于4G的内存空间。

  • 架构图

  • HMater

HMaster是Master Server的实现,负责监控集群中的RegionServer实例,同时是所有Metadata改变的接口,在集群中,通常运行在NameNode上面。master机器不需要大存储空间,不需要挂载过多的磁盘。由于master的重要性大于slalve。可以通过冗余提升硬件可用率。
master机器要运行NameNode,SecondaryNameNode,JobTRacker和HBase Master.800TB数据推荐24G内存。

  • slave

HBase的RegionServer.slave机器要使用Datanode,TaskTracker和HBase RegionServer.800TB数据推荐24G内存以上配置。

本地模式: hbase可以不使用HDFS或者其他集群。使用FileSystem类连接到文件系统实现。Hadoop客户端加载并使用hadoop提供ChecksumFileSystem类直接操作本地磁盘路径来存储所有的路径。
参数 file:///
HDFS模式: 是认的文件系统,Hbase选择HDFS作为文件系统。
hdfs://

相关文章

超详细的记录了HBase 集群搭建的整个过程,以及搭建过程出现...
头歌 HBase(相关的五个实验)
1.创建一个学生信息表,用来存储学生的姓名(姓名作为行键,...
大数据课程综合实验案例1 案例简介1.1 案例目的1.2 适用对象...
HBase从浅入深,(初级)什么是HBase,模型,NOSQL,架构,n...
Hadoop之Hbase安装和配置