Spark：rdd.count() 和 rdd.write() 执行两次转换

问题描述

我使用 Apache Spark 从数据库中获取记录，经过一些转换后，将它们写入 AWS S3。现在我还想计算我写给 S3 的记录数，为此我正在做

rdd.count() and then
rdd.write()

通过这种方式，所有转换都执行了两次并出现了性能问题。 有什么办法可以在转换执行不再执行的情况下实现吗？

解决方法

两个动作 - 计数和写入意味着 2 组读取。

假设如下：

val rdd = sc.parallelize(collectedData,4)

然后通过添加 .cache:

val rdd = sc.parallelize(collectedData,4).cache

这通常会避免第二组重读，但并非总是如此。您还可以查看 persist 和级别。当然，缓存也有开销，这取决于所使用的大小。

Spark UI 上的 DAG 可视化将显示绿色段或点，表示已应用缓存。