客快物流大数据项目八十二:Kudu的读写原理

Kudu的读写原理

一、​​​​​​​工作模式

Kudu的工作模式如下图,有些在上面的内容中已经介绍了,这里简单标注一下:

  • 每个kudu table按照hash或range分区为多个tablet;
  • 每个tablet中包含一个MemRowSet以及多个diskRowSet;
  • 每个diskRowSet包含BaseData以及DeltaStores;
  • DeltaStores由多个DeltaFile和一个DeltaMemStore组成;
  • insert请求的新增数据以及对MemRowSet中数据的update操作(新增的数据还没有来得及触发compaction操作再次进行更新操作的新数据) 会先进入到MemRowSet;
  • 当触发flush条件时将新增数据真正的持久化到磁盘的diskRowSet内;
  • 对老数据的update和delete操作是提交到内存中的DeltaMemStore;
  • 当触发flush条件时会将更新和删除操作持久化到磁盘diskRowSet中的DeltaFile内,此时老数据还在BaseData内(逻辑删除),新数据已在D

相关文章

自1998年我国取消了福利分房的政策后,房地产市场迅速开展蓬...
文章目录获取数据查看数据结构获取数据下载数据可以直接通过...
网上商城系统MySql数据库设计
26个来源的气象数据获取代码
在进入21世纪以来,中国电信业告别了20世纪最后阶段的高速发...