问题描述
我正在使用index_parallel本机批处理方法将数据从s3提取到Druid。我已经使用Druid UI中的“任务”选项卡进行了初始摄取。我想安排另一个任务来每天进行增量摄取。
我已经阅读了许多文档,但是我没有发现与在德鲁伊上安排任务有关的任何事情。
解决方法
通常情况下,您会使用Airflow之类的程序来安排定期摄入,例如看到这个很酷的博客文章:
哦,在这方面也要轻描淡写,以确保您知道如何配置作业以添加数据:
https://druid.apache.org/docs/latest/ingestion/data-management.html#adding-new-data