问题描述
我正在尝试通过数据融合管道将多个 csv 文件从 Azure 存储容器传输到 GCP 存储桶。
通过为 Azure blob 存储配置的“路径”字段提及以下路径（特定 CSV 文件的完整路径），我可以成功传输单个文件 wasbs://containername@storageaccountname.blob.core.windows.net/CSVFile.csv
但是，当我尝试从“contrainername”容器传输多个文件时，在“path”下面不起作用（这里我没有在“/”之后提到任何文件名，因为我需要传输此容器下的所有文件)
'wasbs://containername@storageaccountname.blob.core.windows.net/'
它正在抛出异常，因为“Spark 程序 'phase-1' 失败，错误：/ 未找到。请查看系统日志以获取更多详细信息'
在这里，我使用“SAS 令牌”进行身份验证，它是在容器级别生成的，对于完整路径文件非常有效。
在 GCP 管道中是否有任何 Forloop 选项来遍历文件？ 提前致谢
编辑： 在容器级别生成的 SAS 令牌不适用于路径“/”。 在存储帐户级别生成的 SAS 令牌可以选择该目录下的所有文件。 但它是将所有文件数据合并为一个文件（在 GC 存储时生成）
任何人都可以帮助如何单独传输文件？谢谢
解决方法
暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！
如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。
小编邮箱:dio#foxmail.com (将#修改为@）