HBase中的数据提取

问题描述

我正在大数据平台上工作,需要对HBase进行数据提取

有两种情况:

  1. 每个周末,我们从REST公开的缓存中读取数据,然后转储到HBase中。

  2. 每天都有一个Java进程在某个特定时间运行,并从消息传递主题提取数据,然后需要转储到HBase中。

在这两种情况下,在将数据放入HBase之前,我们都需要执行增量检测,然后才能查询最新的数据视图。另外,还需要保留历史记录。

两种情况下的数据结构均相同。只是来源不同。我需要提出一个HBase模式。我看到几个选择:

  1. 使用单个表-具有数据的历史记录和最新视图
  2. 使用多个表-一个将具有最新数据视图,另一个将具有历史记录。

我是HBase的新手,所以不确定哪种方法最好。我可以尝试什么?

解决方法

暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!

如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@)