在StormCrawler中处理不同的爬网请求

问题描述

我有一个基于StormCrawler的项目,需要永久运行。但是我想通过Web应用程序运行多个爬网请求。 Web应用程序中的每个用户都可以提交其对搜寻器的请求。提交请求后,我们在Web请求后面的对应表中创建一个新记录,并将其ID放入Kafka,同时将其在表中的状态更改为SUBMITTED。 Kafka使用者从Kafka获取请求ID,并将其相应的元组发出给StormCrawler。完成每个爬网请求后,我们需要将其状态更新为“完成”,以便通知提交的用户。如何检测每个爬网请求的完成情况并更新表中的状态?

解决方法

暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!

如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@)