问题描述
Here's a simple illustration of my transformation（点击链接）
第一步：
数据流将加入 the meta data which contain the name of transformation file，每个数据最终都会转移到。
Here's an example of the data after the join
然后是转换执行器set the name of transformation file as variables，它指的是中间转换
Heres's an example of the transfomation executor
步骤 2：
The middle transformation 根据转换文件的变量将数据发送到某个转换。
Here's an example of how middle transformation use the variables of ktr file
第三步：
Data is eventually executed in certain transformation file.
我得到了大约 30000 行的数据，我花了将近 2.5 个小时来完成整个过程。
在步骤1中更改转换执行器步骤的要开始的副本数后 和步骤2中的transformation executor step，用了将近1.5个小时才好转。
为了进一步加快过程，我必须知道，如果转换执行器参考其他转换会减慢整个过程？
期待您的回复，提前致谢！
解决方法
在我看来，您不是对数据进行批量加载（插入、更新或删除），而是逐行处理，因此处理 30.000 行数据需要花费大量时间。
如果您能想出一种方法将行分成三组，并且在最终转换 1 到 3 中，您只需读取在该转换中需要处理的所有行并执行批量 DML 操作，您将处理快得多。