当具有转换的数据流活动时,Azure数据工厂转换管道需要花费5分钟以上的时间来执行

问题描述

我已经创建了一个带有数据流活动的管道,该活动正在连接输入文件中的两个字段。我的输入文件包含5行数据和4个字段。我正在使用.net SDK通过Visual Studio创建这些东西。当我创建并运行该作业时,需要花费5分钟以上的时间来执行。我觉得它在内部启用了Data Flow调试器,这就是为什么要花费这么多时间的原因。只想知道我的答案是正确还是错误。如果不是,请告诉我为什么即使5条记录也要花费那么多时间?谢谢

解决方法

每次在ADF中使用数据流时,都必须为该数据流设置集成运行时。当涉及到数据流时,您将始终招致这种加速时间。

(如果在同一管道中有多个顺序的数据流,则第一个数据流将始终产生加速时间,但是,如果在Integration Runtime配置中将“生存时间”设置为“ TTL”,则可以具有后续数据流使用该初始运行时,并跳过在TTL窗口内触发的下游数据流的加速时间。)

只有一个数据流,请重新评估您是否绝对需要它。如果不这样做,则可以将其删除并跳过该加速时间。但是,如果您需要数据流,则无法避免最初的加速。