问题描述
通过Web API发送抓取请求是我们客户最重要的要求之一。例如,Web应用程序的用户需要通过表单提交seedUrl,然后再获取结果。提交每个请求之后,我需要将该请求保存到状态为SUBMITTED的数据库中,如果每个请求完成,我都希望将该请求的状态更改为COMPLETED或ERROR等。
通过网络应用程序将抓取请求提供给Storm Crawler是否是一种好习惯?每个抓取请求可能包含1个seedUrl至50万个seedUrl。
解决方法
暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!
如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。
小编邮箱:dio#foxmail.com (将#修改为@)