talend中文件的增量数据处理

问题描述

当您没有数据库或任何东西可以记录以前的执行时间戳时,如何管理增量数据处理? 我们可以使用tAddCRCRow组件吗?但是,当源和目的地都只是文件集合时,怎么知道该数据是否已经过专门处理?

谢谢。

解决方法

您必须使用目标文件作为查找并标识现有值。这将帮助您解决问题。

如果是文件,则必须使用多个文件作为查找。或创建一个单独的表来保存所有文件的唯一值,并将其用作查找