在postreSQL / TimescaleDB中插入批量数据并管理错误

问题描述

我有一个脚本,可以从InfluxDB中选择行,然后将其批量插入TimescaleDB中。

我每2000行插入一次数据,以使其更快。

当我遇到一个错误时,所有2000行都会被忽略。是否可以插入1999行,而忽略失败的行?

解决方法

由于PostgreSQL实现了ACID事务,因此会在发生错误时回滚整个事务。事务的最小粒度是一个语句,例如带有批量值的INSERT INTO语句,这是默认设置。因此,如果发生故障,则无法忽略它并提交其余部分。

我假设您使用INSERT INTO statement。它提供了ON CONFLICT子句,如果观察到的错误是由于冲突引起的,则可以使用该子句。

另一种解决方法是移入临时表,然后在清理后插入超表。

顺便说一句,您是否希望Outflux tool from Timescale可以帮助您?