问题描述
我有一个管道,该管道从Google Cloud Storage(GCS)存储桶中递归读取许多JSON文件,然后将每个文件解析为一条记录。然后,每条记录都通过“ Python Transform”插件进行进一步处理(添加新的字段和值),最后应将其保存在其他GCS存储桶(接收器)中。
我尝试使用GCS接收器的参数,在其之前添加“ Wrangler”变换和/或在“ Wrangler”变换之前添加“ CSV Formatter”变换的所有尝试都无助于生成CSV文件。预览输出始终是正确的,但是在部署时,输出不是正确的。
在我选择的路径中生成的文件始终是我未选择的文件名,并且始终是文件类型“ application / octet-stream”。
The first attempt (full pipeline)
这是每次的输出:Deployed pipeline output as octet-stream instead of CSV,and with file name I did not choose
如何选择文件名?在GCS存储桶中生成的文件不能以CSV格式输出时,我该怎么办?
解决方法
暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!
如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。
小编邮箱:dio#foxmail.com (将#修改为@)