在postreSQL / TimescaleDB中插入批量数据并管理错误

问题描述

我有一个脚本，可以从InfluxDB中选择行，然后将其批量插入TimescaleDB中。

我每2000行插入一次数据，以使其更快。

当我遇到一个错误时，所有2000行都会被忽略。是否可以插入1999行，而忽略失败的行？

解决方法

由于PostgreSQL实现了ACID事务，因此会在发生错误时回滚整个事务。事务的最小粒度是一个语句，例如带有批量值的INSERT INTO语句，这是默认设置。因此，如果发生故障，则无法忽略它并提交其余部分。

我假设您使用INSERT INTO statement。它提供了ON CONFLICT子句，如果观察到的错误是由于冲突引起的，则可以使用该子句。

另一种解决方法是移入临时表，然后在清理后插入超表。

顺便说一句，您是否希望Outflux tool from Timescale可以帮助您？