通过Storm Crawler中的Web应用程序接受爬网请求的最佳实践

问题描述

通过Web API发送抓取请求是我们客户最重要的要求之一。例如,Web应用程序的用户需要通过表单提交seedUrl,然后再获取结果。提交每个请求之后,我需要将该请求保存到状态为SUBMITTED的数据库中,如果每个请求完成,我都希望将该请求的状态更改为COMPLETED或ERROR等。

通过网络应用程序将抓取请求提供给Storm Crawler是否是一种好习惯?每个抓取请求可能包含1个seedUrl至50万个seedUrl。

我想要解决类似问题的软件体系结构或一些代码库。

解决方法

暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!

如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@)