Celery任务和组中的任务已接收但未执行

问题描述

我正在开发一个应用程序，该应用程序旨在基于使用Selenium Webdriver创建的屏幕截图来创建演示文稿。技术堆栈：Python 3.8.6，Flask 1.1.2，Celery 4.4.7，Redis server 4.0.9 Ubuntu 18.04.3 LTS。当我仅添加一个任务时，芹菜工人工作正常，但是当我尝试一个接一个地调用2或3个任务时，任务已接收但从未执行。添加任务的时间也会影响工作人员的行为。当我添加一个任务-等待大约2秒钟，然后添加第二个任务时-所有任务都可以正常执行。但是当我尝试添加3个任务时-总是有问题。有时执行第一个任务，但其他一些则不执行，但有时都不执行。这是我的代码示例：

我正在通过$ .ajax运行任务-帖子：

$.ajax({
    type: 'POST',url: '/presentationTask/1234/4321',data: {
           filters_array: JSON.stringify([
               { filterTable : "Location",filterColumn: "City",filterValue: "Chicago,IL" }
    ])
    },success: function(data,status,request) {
        status_url = request.getResponseHeader('Location');
        update_progress(status_url,nanobar,div[0]);
    },error: function() {
       alert('Unexpected error');
    }
});

路由：

@bp.route('/presentationTask/<workspaceId>/<reportId>',methods=['POST'])
def presentationTask(workspaceId,reportId):
    filters = request.form['filters_array']
    task = createPresentation.apply_async(args=[workspaceId,reportId,filters])  
    
return jsonify({}),202,{'Location': url_for('tasks.taskstatus',task_id= task.id)}

并且在方法“ createPresntation” 中，我必须多次调用“ createScreen” 任务，因此我使用了“签名” 和“ group” 来按组运行任务。我正在等待所有任务完成，然后通过“ join（）/ join_native（）”

将其结果合并

@celery.task(bind=True)
def createPresentation(self,workspaceId,filterValues):
    self.update_state(state='PENDING')
    .
    .
    .
    
    for filter in json_filters:
        for page in json_pages["value"]:
            jobList.append(createScreen.signature(args=[workspaceId,page["Name"],filter['filterTable'],filter['filterColumn'],filter['filterValue'],currentIndex,page["displayName"]]))
   
    pageReportJob = group(jobList)
    results = pageReportJob.apply_async()

    while not results.ready():
        current = results.completed_count()
        
        self.update_state(
            state='PROGRESS',Meta={'current': current,'total': total,'status': message})  
        time.sleep(2)

    with allow_join_result():
        results.join_native()
    ....

我正在通过以下命令运行芹菜工人：

celery worker -A celery_worker.celery --loglevel=info --without-gossip 
--without-mingle --without-heartbeat -Ofair

解决方法

我找到了一个解决方案-我安装了Flower来监控Celery任务，我注意到celery为2个主要任务（createPresentation）分配了内存，并等待（createScreen）任务执行，但由于所有CPU /线程被任务（createPresentation）占用。因此，我创建了2个队列，其中一个队列的createScreen优先级高，一个默认队列的createPresentation优先级。然后我创建芹菜路线，并指定每条路线。

CELERY_DEFAULT_QUEUE = 'default'
CELERY_QUEUES = (
    Queue('default'),Queue('priority_high'),)

CELERY_ROUTES = {
    'app.screenshots.services.createScreen': {'queue': 'priority_high'},'app.presentation.services.createPresentation': {'queue': 'default'},}

celery flask python redis redis worker worker