使用Polybase将大量的小型csv文件加载到Azure Synapse中

问题描述

我目前的任务是将Azure Data Lake中的约3600个小型csv文件加载到Azure Synapse中的单个表中。每个文件小于10k字节。我使用polybase创建了一个外部表,该表指向带一些通配符的Data湖上的文件夹,并将来自外部表的记录插入到另一个临时表中。整个过程耗时约4个小时。无论如何,是否有任何并行发生?时间是正常的吗?

解决方法

暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!

如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@)