spark jdbc-到源的多个连接？

问题描述

有人提到，当我们使用spark.read JDBC生成一个数据帧时，然后在该数据帧上执行df.write两次。 **它会创建到源的两个连接吗？ **我需要一些帮助，以获取更多有关Spark内部工作的见解。

所以假设我创建了一个返回df的函数

read_df():
df = spark.read.format("jdbc").option("header","true").option("inferSchema","true").option("url",jdbc_str[0]).option("lowerBound",mini).option("upperBound",maxi).option("numPartitions",num_partitions). option("partitionColumn",df_info[2]).option("dbtable",tablename).option("user",df_info[0]).option("password",df_info[1]).option("driver","com.informix.jdbc.IfxDriver").load()
return df

现在我要把上面函数返回的df放在两个地方写。

def write_df_delta(df):
df.write.format("delta").partitionBy("partitioncolumn").save(location)
return "successful"
def write_df_csvserde(df):
df.coalesce(1).write.option("header","true").mode("append").csv(target_dir)
return "successful"

现在，如果我按以下方式在main中调用此名称，那是否真的可以与源建立两个连接？如是;如何避免这种情况并且只读一次。有关负载here的spark文档，引用了load（）“从数据源加载数据并将其作为a：class DataFrame返回。”因此需要更多有关这里内部活动的背景信息。

def main():
df=read_df()
status = write_df_delta(df)  
status = write_df_csvserde(df)
if __name__ == '__main__' :
    main()

解决方法

由于您没有.cache或.persist，它将从JDBC源读取两次。

两个动作明显。

缓存也有成本。