问题描述
我一直尝试每隔10分钟将大量数据从csv导入Postgres。
在芹菜的帮助下,我并行地安排了一些工作。
不。导入postgres后,csv中的行数不匹配。
我一直在使用df.to_sql()
方法将CSV文件写入db,它没有引发任何错误,但是DB中仍然缺少某些行。
根据我的观察,表的大小增加导致行丢失。
是Postgres限制吗?
还是因为工作计划重叠而导致锁定或其他原因?
解决方法
在我的 CSV 文件的一列中,我有以下格式的数据:
"abc,xyz"
因此,使用 quotechar='"'
帮助我解决了问题。
感谢大家的想法和建议。