问题描述
我正在尝试通过数据融合将目录下的多个 (.csv) 文件从 Azure 存储容器传输到 Google 存储（作为 .txt 文件）。 通过数据融合，我可以成功传输单个文件并将其转换为 .txt 文件作为 GCS Sink 的一部分。
但是当我尝试将 azure 容器下的所有 .csv 文件传输到 GCS 时，它会合并所有 .csv 文件数据并在 GCS 上生成单个 .txt 文件。
有人可以帮助如何分别传输每个文件并将其转换为 Sink 端的 txt 吗？
解决方法
您看到的是使用 GCS 接收器时的预期行为。
您需要一个 Azure 到 GCS 复制操作插件，或者更一般地说是一个 HCFS 到 GCS 复制操作插件。不幸的是，这样的插件还不存在。您可以考虑使用 https://github.com/data-integrations/example-action 作为起点编写一个。