在StormCrawler中,是否有任何系统的方法可以打开或关闭某些Bolt?

问题描述

我已经开发了一个StormCrawler项目,该项目在该拓扑中具有多个其他Bolt。我的抓取工具应该可以7 X 24正常工作,而无需停机。因此,我无法重新启动搜寻器并更改拓扑配置。我想在运行时绕过(打开或关闭)一些螺栓。在运行时在StormCrawler中禁用和启用某些Bolt的最佳方法是什么?

谢谢

解决方法

没有开箱即用的方法,因此您必须实现在螺栓本身中打开/关闭调整螺栓的逻辑。

如果您需要刷新其配置,则可以实现动态机制。例如,将螺栓的配置存储在例如弹性索引中,然后定期重新加载该配置。

我们已经有了JSONURLFilterWrapperParseFilter的类似内容。我们可以有一个抽象的,由ES支持的动态可配置螺栓。如果您认为有兴趣甚至更好,请在GitHub上开放一个问题,贡献一份PR;-)

相关问答

错误1:Request method ‘DELETE‘ not supported 错误还原:...
错误1:启动docker镜像时报错:Error response from daemon:...
错误1:private field ‘xxx‘ is never assigned 按Alt...
报错如下,通过源不能下载,最后警告pip需升级版本 Requirem...