数据连接-并行JDBC提取失败并显示OutOfMemoryError

问题描述

我正在尝试并行运行一些JDBC提取，但这在java.lang.OutOfMemoryError: Java heap space上失败。

数据连接内存使用如何工作，如何解决此问题？

解决方法

这里的数据连接代理的内存使用实际上主要取决于fetchSize参数的值。每the Oracle JDBC driver docs，fetchSize：

当此ResultSet对象需要更多行时，为JDBC驱动程序提供有关应从数据库中获取的行数的提示。

因此，代理的内存使用量应大致为：

number of JDBC extracts running in parallel x fetchSize x size of each row

不幸的是，fetchSize的默认值在不同的JDBC驱动程序之间差异很大。例如，某些版本的Hive JDBC驱动程序将其设置为50，而其他较新的版本将其默认值设置为1000。OracleJDBC驱动程序的默认值设置为10。默认情况下，Postgres会尝试立即获取整个ResultSet。

因此，数据连接允许您配置fetchSize值。这可以按源和按提取进行配置。

除了

OOM错误外，调整fetchSize通常可以提高性能significantly。但是，还没有一种万能的解决方案，您必须进行实验以找出提取物的最佳参数值。通常位于500-5000范围内。