Celery-收到类型为'core.tasks.scrape_dev_to'

问题描述

尝试启动和运行基于芹菜的刮板。芹菜工人似乎可以单独运行，但是当我还运行芹菜拍服务器时，该工人给了我这个关键错误。

  File "c:\users\myusername\.virtualenvs\django-news-scraper-dbqk-dk5\lib\site-packages\celery\worker\consumer\consumer.py",line 555,in on_task_received
    strategy = strategies[type_]
KeyError: 'core.tasks.scrape_dev_to'
[2020-10-04 16:51:41,231: ERROR/MainProcess] Received unregistered task of type 'core.tasks.scrape_dev_to'.
The message has been ignored and discarded.

我在stackoverflow上经历了许多类似的答案，但是都没有解决我的问题。我将列出最后尝试的内容。

项目结构：

核心-任务

新闻采集器 -celery.py -settings.py

任务：

import time
from newsscraper.celery import shared_task,task
from .scrapers import scrape

@task
def scrape_dev_to():
    URL = "https://dev.to/search?q=django"
    scrape(URL)
    return

settings.py：

INSTALLED_APPS = [
    'django.contrib.admin',...
    'django_celery_beat','core',]
...
# I Added this setting while troubleshooting,got a new ModuleNotFound error for core.tasks
#CELERY_IMPORTS = (
#    'core.tasks',#)
CELERY_BROKER_URL = 'redis://localhost:6379'
CELERY_BEAT_SCHEDULE = {
    "ScrapeStuff": {
        'task': 'core.tasks.scrape_dev_to','schedule': 10  # crontab(minute="*/30")
    }
}

celery.py：

from __future__ import absolute_import,unicode_literals

import os

from celery import Celery

# set the default Django settings module for the 'celery' program.
os.environ.setdefault('DJANGO_SETTINGS_MODULE','newsscraper.settings')

app = Celery('newsscraper')

app.config_from_object('django.conf:settings',namespace='CELERY')

# Load task modules from all registered Django app configs.
app.autodiscover_tasks()

当我为celery worker运行debug时，我看到celery没有要注册的任务（scrape_dev_to）。 celery.py中的app.autodiscover_tasks（）调用是否应该解决这个问题？这是输出：

  . celery.accumulate
  . celery.backend_cleanup
  . celery.chain
  . celery.chord
  . celery.chord_unlock
  . celery.chunks
  . celery.group
  . celery.map
  . celery.starmap

当我尝试将core.tasks添加到CELERY_IMPORTS设置时，我还会收到ModuleNotFoundError。这是我对问题所在的最佳猜测，但我不知道如何解决。

我尝试过的事情：

1. 将core.tasks添加到celery_imports设置。当我尝试运行芹菜拍时，这会导致一个新错误：“没有名为“ core.tasks”的模块”。
2. 在任务中对名称进行硬编码：name ='core.tasks.scrape_dev_to'
3. 在调用工人时明确指定了celery配置：celery-新闻工作者-l INFO -settings = celeryconfig
4. 玩我的进口商品（例如，从newsscraper.celery而不是celery）
5. 在包含任务的模块的init.py中添加一些配置代码（已经在包含设置和celery.py的模块的init.py中添加了它）
6. Python manage.py检查未发现问题
7. 显式调用core.tasks的工作：celery -A core.tasks worker -l INFO

解决方法

我遇到了同样的问题，这个设置为我解决了。

在您的设置中

CELERY_IMPORTS = [
    'app_name.tasks',]

和

# app_name/tasks.py

from celery import shared_task

@shared_task
def my_task(*args,**kwargs):
    pass

imports的文档参考。