如何在控制台中写入流数据帧？ Scala Spark流

问题描述

我想调试笔记本电脑，因此我需要在笔记本电脑控制台模式下打印流数据。我有两个问题： 1-是否可以做：

df.writeStream.format("console").start().awaitTermination()

2-如果是，我在哪里可以看到输出？

这是10分钟后...没有错误或结果

谢谢！ ?

解决方法

我弄清楚了我的问题是什么。我必须在方法中添加“。outputMode（” append“）” 。这是它的外观：

def writeStreamData(dataFrame: DataFrame): Unit = {
        /**
         * write the given dataframe into a file or console
         :params: dataframe
         */
        dataFrame.writeStream
            .format("console")
            .outputMode("append")
            .start()
            .awaitTermination()
    }