使用Azure Data Factory V2将Excel工作簿的多个工作表并行加载到SQL DB中

问题描述

是否可以使用ADF V2将工作表批量加载到SQL表中？

通过使用2个链接的服务（Blob和SQL DB）制作10个数据集（Excel和SQL表），我能够加载5个数据表。即使所有数据活动都并行执行，性能也不佳。

如果要添加更多的图纸，则性能会大大降低。我认为这是因为使用了相同的excel工作簿，并且考虑到其大小（50 MB）并成为了瓶颈，因此打开和阅读它需要花费时间。

SSIS只能使用Foreach循环按顺序执行此操作（取决于目标表的动态设置）

必须有一种更好的方法来加载数据，而不是创建N * 2数量的数据集（工作表源和Resp SQL表）。

-谢谢

解决方法

您可以分两个步骤进行操作：

• 首先将excel电子表格导出为csv文件，您可以将它们合并为一个文件。
• 然后使用批量插入将数据加载到数据库中

请参阅：https://docs.microsoft.com/en-us/sql/t-sql/statements/bulk-insert-transact-sql?view=sql-server-ver15

,

@Mark发布的内容-“您可以在数据集“ sheets”属性中单击“编辑”并对该属性进行参数化。然后，您可以使用管道“ foreach”遍历表单名称”