如何在日期之后命名的文件夹中动态放置Azure数据流输出

问题描述

我在输出json文件的管道中有一个数据流。每次运行时，我都希望将json文件放置在一个名为动态命名的文件夹中，将当前时间戳降低到运行该文件夹的第二个时间戳。我尝试将utcNow函数放入输出数据集dataset folderpath setup screenshot的文件路径设置中。但是我得到一个

“无法通过名称中带有冒号的WASB创建”错误。

即使我之前通过Azure存储创建的文件夹名称中都带有冒号。请帮忙。

解决方法

我测试了在数据流中使用冒号和表达式设置文件夹名称。

无论我们用冒号或表达式设置文件夹名称，我们都会收到错误消息：

{"StatusCode":"DFExecutorUserError","Message":"Job failed due to reason: JSON parsing error,unsupported encoding or multiline","Details":"at Sink 'sink1': org.apache.spark.SparkException: Job aborted."}

根据错误消息，数据流不支持带冒号的文件夹名称和表达式功能。

它仅在复制活动接收器数据集中有效。