问题描述
当某个特定任务失败导致RDD从lineage重新计算（可能是通过再次读取输入文件）时，Spark如何确保没有重复处理数据？如果失败的任务已将一半数据写入某些输出（如 HDFS 或 Kafka）怎么办？它会再次重写那部分数据吗？ 这与恰好一次处理有关吗？
解决方法
默认情况下输出操作具有至少一次语义。如果 worker 发生故障，foreachRDD 函数将执行多次，从而多次将相同的数据写入外部存储。有两种方法可以解决这个问题，幂等更新和事务更新。以下部分将进一步讨论它们
进一步阅读
http://shzhangji.com/blog/2017/07/31/how-to-achieve-exactly-once-semantics-in-spark-streaming/