django中的pandas to_sql：将外键插入数据库

问题描述

使用熊猫to_sql函数时是否可以插入外键？

我正在用django中的熊猫处理上载的Consultation（n = 40k），然后再将它们添加到数据库中（postgres）。我逐行获取了此工作，但这需要15到20分钟。这比我希望用户等待的时间更长，因此我正在寻找一种更有效的解决方案。

我尝试了pandas to_sql，但是在调用consultations函数之前，我无法弄清楚如何将两个外键关系作为列添加到to_sql数据帧中。有没有一种方法可以将Patient和Praktijk外键添加为consultations数据框中的列？

更具体地说，当逐行插入时，我在数据库中创建新咨询时使用 type Patient或Praktijk类型的对象。但是，在数据框中，我无法使用这些类型，因此不知道如何正确添加外键。可能有object或int类型的值（患者的ID？），可以替代Patient类型的值，从而设置外键吗？

Consultation模型：

class Consultation(models.Model):
    # the foreign keys
    patient = models.ForeignKey(Patient,on_delete=models.CASCADE,null=True,blank=True)
    praktijk = models.ForeignKey(Praktijk,default='')

    # other fields which do not give trouble with to_sql
    patient_nr = models.IntegerField(blank=True,null=True)
    # etc

to_sql呼叫：

consultations.to_sql(Consult._meta.db_table,engine,if_exists='append',index=False,chunksize=10000)

如果以上方法均无法实现，那么是否有任何暗示指向另一个更有效的解决方案？

解决方法

我遇到了同样的问题，这就是我解决的方法。我的回答不那么直接，但我相信它会有所帮助。

检查django项目，以确保有两件事：

1. 目标表名称
2. 表列名称

就我而言，在定义Django模型以使用显式名称时，我使用class Meta（django有一种自动命名表的方式）。我将使用django tutorial project进行说明。

class Question(models.Model):
    question_text = models.CharField(max_length=200)
    pub_date = models.DateTimeField('date published')
    class Meta:
        db_table = "poll_questions"

class Choice(models.Model):
    question = models.ForeignKey(Question,on_delete=models.CASCADE)
    choice_text = models.CharField(max_length=200)
    votes = models.IntegerField(default=0)
    class Meta:
        db_table = "question_choices"

注意： Django使用Question对象的 pk 在数据库中引用了Question外键。

假设我有一个问题pk 1，以及一个我想用来更新问题选择的数据框 df 。 如果使用熊猫批量插入数据库，我的df必须看起来像下面的样子！

import pandas as pd  

df = pd.DataFrame(
    {
        "question": [1,1,1],"choice_text": [
            "First Question","Second Question","Third Question","Fourth Question","Fifth Question"
        ],"votes":[5,3,10,13]
    }
)

我希望我可以将df编写为表格。太糟糕了，SO不支持表的常规减价

不过，我们的df下一步是创建用于插入记录的数据库连接。

from django.conf import settings
from sqlalchemy import create_engine

# load database settings from django

user = settings.DATABASES['default']['USER']
passwd = settings.DATABASES['default']['PASSWORD']
dbname = settings.DATABASES['default']['NAME']

# create database connection string
conn = 'postgresql://{user}:{passwd}@localhost:5432/{dbname}'.format(
    user=user,passwd=passwd,dbname=dbname
)

# actual database connection object.
conn = create_engine(conn,echo=False)

# write df into db
df.to_sql("question_choices",con=conn,if_exists="append",index=False,chunksize=500,method="multi")

Voila！
我们完成了！

注意：
django支持bulk-create，但这不是您要求的。