问题描述
我已经开发了一个StormCrawler项目,该项目在该拓扑中具有多个其他Bolt。我的抓取工具应该可以7 X 24正常工作,而无需停机。因此,我无法重新启动搜寻器并更改拓扑配置。我想在运行时绕过(打开或关闭)一些螺栓。在运行时在StormCrawler中禁用和启用某些Bolt的最佳方法是什么?
谢谢
解决方法
没有开箱即用的方法,因此您必须实现在螺栓本身中打开/关闭调整螺栓的逻辑。
如果您需要刷新其配置,则可以实现动态机制。例如,将螺栓的配置存储在例如弹性索引中,然后定期重新加载该配置。
我们已经有了JSONURLFilterWrapper和ParseFilter的类似内容。我们可以有一个抽象的,由ES支持的动态可配置螺栓。如果您认为有兴趣甚至更好,请在GitHub上开放一个问题,贡献一份PR;-)