如何在Django中创建cron作业以运行脚本来从网站抓取数据并更新PostgreSQL数据库？

问题描述

因此，我目前正在实现我的第一个基于Django的Web应用程序。但是，我发现我只需要Django执行后端cron作业即可从网站中抓取数据，然后更新PostgreSQL数据库中的现有数据。然后，我仅使用React前端从数据库中检索数据并在网页上将其可视化。

我现在的问题是，我不知道如何从概念上解决这一挑战。当前，我的models.py文件中有一个模型，可以在PostgreSQL中成功创建空表：

from django.db import models

# Create your models here.
class rainAreas(models.Model):
    Country = models.CharField(max_length=100)
    HasRain= models.BooleanField()
    Since = models.DateField()

    class Meta:
        app_label = "rain_areas"

我还用伪数据手动填写了表格。最后，我在admin.py文件中有一个脚本，该脚本成功创建了从网站抓取的所需数据列表。看起来像这样：

my_data = [{"country": "Germany","HasRain": True,"Since": "2020-08-11"},{"country": "France",....

但是现在我被困住了。下一步是什么

1. 在创建的表上使用UPDATE中的数据创建一个SQL admin.py
2. 将此脚本转换为应每小时运行一次的cron作业

解决方法

基本上有两种选择：

1. 尝试使用celery
2. 写一个custom admin comand

添加芹菜可能会增加很多复杂性。

如果您选择第二种方法，则必须确保在脚本/ cronjob中使用正确的python环境检查this答案

首先更新条目，然后保存新值

for d in my_data:
    rainArea = RainArea.objects.get(country=d['country'])
    rainArea.has_rain = d['HasRain']
    rainArea.since =  datetime.strptime(d['Since'],'%y-%m-%d')
    rainArea.save()

 

请注意，我稍微重构了措词，以更好地遵循pep8：

• 在python类中以大写开头
• django模型是单数命名，而不是复数（RainArea）
• 属性通常不以大写字母开头