Celery 从任务中创建任务

问题描述

我正在尝试创建一个任务，该任务将创建其他任务。如果我抓取一个网页并且我想下载 HTML 中的所有 jpeg 文件，我想在该任务中启动一个子任务。我事先不知道 html 页面，因为它在任务中运行。

@task
def getpage(url):
   r = requests.get(url).content
   .... loop over the html  and find an image link
   getimage.delay(url_to_image)
   ....
   if you find link to other html page 
   getpage.delay(url_to_page)

因此，如果我们抓取一个包含 3 个图像的页面，并链接到另外两个 html 页面，并且每个页面上都有 2 个图像，那么我们总共下载了 7 个图像和 3 个 html 页面。

我知道我可以做到这一点，如果我先获取所有 html 页面和所有图像，然后调用子任务，然后我等待下载所有图像和 html。

如果我有 1000 个 html 页面，那将需要一段时间，所以我想为每个页面启动子任务。这可能吗？

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）