Google Cloud Data Fusion在GCS存储桶中未生成CSV输出

问题描述

我有一个管道,该管道从Google Cloud Storage(GCS)存储桶中递归读取许多JSON文件,然后将每个文件解析为一条记录。然后,每条记录都通过“ Python Transform”插件进行进一步处理(添加新的字段和值),最后应将其保存在其他GCS存储桶(接收器)中。

我尝试使用GCS接收器的参数,在其之前添加“ Wrangler”变换和/或在“ Wrangler”变换之前添加“ CSV Formatter”变换的所有尝试都无助于生成CSV文件。预览输出始终是正确的,但是在部署时,输出不是正确的。

在我选择的路径中生成的文件始终是我未选择的文件名,并且始终是文件类型“ application / octet-stream”。

The first attempt (full pipeline)

The second type of attempt

The third type of attempt

This is the GCS properties window,and nothing in it is different between the above attempts except for the schema.

这是每次的输出:Deployed pipeline output as octet-stream instead of CSV,and with file name I did not choose

如何选择文件名?在GCS存储桶中生成的文件不能以CSV格式输出时,我该怎么办?

解决方法

暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!

如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@)