使用Azure Data Factory V2将Excel工作簿的多个工作表并行加载到SQL DB中

问题描述

是否可以使用ADF V2将工作表批量加载到sql表中?

通过使用2个链接的服务(Blob和sql DB)制作10个数据集(Excel和sql表),我能够加载5个数据表。即使所有数据活动都并行执行,性能也不佳。

如果要添加更多的图纸,则性能会大大降低。我认为这是因为使用了相同的excel工作簿,并且考虑到其大小(50 MB)并成为了瓶颈,因此打开和阅读它需要花费时间。

SSIS只能使用Foreach循环按顺序执行此操作(取决于目标表的动态设置)

必须有一种更好的方法来加载数据,而不是创建N * 2数量的数据集(工作表源和Resp sql表)。

-谢谢

解决方法

您可以分两个步骤进行操作:

  • 首先将excel电子表格导出为csv文件,您可以将它们合并为一个文件。
  • 然后使用批量插入将数据加载到数据库中

请参阅:https://docs.microsoft.com/en-us/sql/t-sql/statements/bulk-insert-transact-sql?view=sql-server-ver15

,

@Mark发布的内容-“您可以在数据集“ sheets”属性中单击“编辑”并对该属性进行参数化。然后,您可以使用管道“ foreach”遍历表单名称”