网页抓取项目+网页

问题描述

我正在构建一个带有网页的 django 项目,用户可以在其中搜索文档。我使用 webscraper 来检索文档并将它们存储在数据库中。刮擦应每两小时运行一次,大约需要 5 分钟。我使用了 apscheduler 并在我的 django 项目中创建了一个 scraping_app。但是在抓取时,我无法从网页上进行任何搜索调用。如何确保抓取不会停止网页?

由于我是 Web 开发的新手,我想知道最佳实践是什么。我应该让抓取完全独立于网页项目并且只共享相同的数据库吗?还是将两者集成到同一个项目中?

解决方法

暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!

如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@)

相关问答

Selenium Web驱动程序和Java。元素在(x,y)点处不可单击。其...
Python-如何使用点“。” 访问字典成员?
Java 字符串是不可变的。到底是什么意思?
Java中的“ final”关键字如何工作?(我仍然可以修改对象。...
“loop:”在Java代码中。这是什么,为什么要编译?
java.lang.ClassNotFoundException:sun.jdbc.odbc.JdbcOdbc...