hbase数据迁移

1.概述

  主要应用于灾难备份,集群间的数据迁移

2.流程图

  

 

put:代表一个插入批次

FSHLog:hbase中wal的实现 entries:hbase的数据记录,一个entry包含一系列cell,tableName,Columnfamily,sequenceId,writeTime,encodedRegionName,origLogSeqNum等字段 replicationContext:一个包含entries,entries的长度,timeout,walGroupId四个字段的对象   1.一次(put)插入在写入数据时先写入FSHLog,写入FSHLog的一个put就是一个entry。 2.old cluster集群的regionserver调用new cluster的RPC接口,将数据以replicationContext的形式传给new cluster的RegionServer. 3.new Cluster将replicationEndpoint解析并将数据写入HFile。       关于数据放大: entry中sequenceId,writeTime,encodedRegionName,origLogSeqNum等字段就是数据传输的数据放大字段,   如果一条数据一条数据写入则数据放大最为严重,若只写一次写入全表数据则数据基本不会放大  

 

相关文章

超详细的记录了HBase 集群搭建的整个过程,以及搭建过程出现...
头歌 HBase(相关的五个实验)
1.创建一个学生信息表,用来存储学生的姓名(姓名作为行键,...
大数据课程综合实验案例1 案例简介1.1 案例目的1.2 适用对象...
HBase从浅入深,(初级)什么是HBase,模型,NOSQL,架构,n...
Hadoop之Hbase安装和配置