问题描述
我需要找到或开发一个模块,该模块可以支持: 1.支持快速数据交易 2.将所有状态异步备份到远程源(HDFS,GFS) 3.清除连续数据(例如小于时间戳的数据) 4.从远程源中恢复
C ++,只需要顺序阅读即可。
MQ和RocksDB基本上可以满足我的要求,但是MQ仅支持Java,RocksDB的随机查找对我来说是无用的(可能会影响性能),同时,我也不知道如何将备份目录更改为远程目录可靠的来源。
解决方法
如果你输入的是时间序列数据,可以试试 RocksDB FIFO compaction https://github.com/facebook/rocksdb/wiki/FIFO-compaction-style 这就像一个队列。
对于备份/恢复,您可以有一个单独的过程来将数据移入和移出远程文件系统。