S3中德鲁伊的Delta摄入

问题描述

我正在通过德鲁伊进行POC。我正在从s3提取数据,使用默认配置需要289 MB数据约7分钟。现在,我已设置“ maxNumConcurrentSubTasks”:2 “ appendToExisting”:true 。当尝试从s3将相同的数据导入druid时,所花费的时间几乎与上述相同。我期待的时间要少得多,因为我没有更新任何数据,而是尝试附加而不是覆盖完整的数据。

我是否误解了德鲁伊中append的概念,还有从s3进行delta摄取的最佳方法吗?任何线索将不胜感激。

解决方法

暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!

如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@)