问题描述
在以下情况下,我很困惑Spark会与数据库建立多少连接:
比方说,我有一个Spark程序,该程序仅在具有一个执行程序的一个工作节点上运行,并且数据帧中的分区数为10。我想将此数据帧写入teradata。由于并行度是10,而执行程序只有1,那么在保存数据时会建立10个连接,还是只有1个连接?
解决方法
从Spark 2.2开始,为JDBC数据源指定的numPartitions
参数还用于控制其写入行为(除了先前在读取过程中设置并行度的目的之外)。
来自Spark docs:
,numPartitions
可用于的最大分区数 表读写中的并行性。这也决定了 并发JDBC连接的最大数量。如果数量 要写入的分区超出了此限制,我们将其降低到此限制 通过在写入之前调用Coalesce(numPartitions)。
这取决于您的spark-> teradata解决方案。
通常,每个核心有1个连接。每个内核都按自己的分区1到1进行迭代。
例如,如果您将.foreach
与自定义解决方案一起使用,则您在1行时将只有1个连接。
如果您将foreachPartition
与自定义解决方案配合使用,则多行将具有1个连接。