问题描述
我正在尝试将一个约 3 百万行 x 158 列 (约 3GB) 的 Pyspark 数据帧写入 TimeScale DB。
写入操作从 Jupyter 内核执行,资源如下:
正如人们所料,它相当慢。
我知道 repartition
和 batchsize
,所以我尝试使用这些参数来加速写入操作,但我想知道尽可能提高性能的最佳参数是什么.
df.rdd.getNumPartitions()
是 7,我应该尝试增加还是减少分区数?
我试过玩了一下,但没有得到任何结论性的结果。增加分区数似乎确实会减慢写入速度,但这可能只是因为 Spark 先执行 repartition
。
我更具体地想知道 batchsize
。我想最佳批量大小取决于 TimeScale/Postgre 配置,但我无法找到有关此的更多信息。
为了记录,以下是我尝试过的示例:
df.write \
.mode("overwrite") \
.format('jdbc') \
.option('url','my_url') \
.option('user','my_user') \
.option('password','my_pwd') \
.option('dbtable','my_table') \
.option('numPartitions','5') \
.option('batchsize','10000') \
.save()
这在一个小得多的数据帧样本(约 500K 行,500MB)上花费了 26 分钟。
我们知道我们的 Jupyter 内核资源不足,并且也在努力解决这个问题,但是有没有办法使用 Spark 和 TimeScale 参数来优化写入速度?
[编辑] 我还阅读了关于使用 copY 的 this very helpful answer,但我们目前正在专门寻找使用 Spark 提高性能的方法。
解决方法
如果它使用 JDBC,那么前段时间引入的 reWriteBatchedInserts=true
参数可能会显着加快速度https://jdbc.postgresql.org/documentation/changelog.html#version_9.4.1209。它应该能够被引入到连接字符串中,或者可能有一种方法可以指定在 Spark 连接器中使用它。