问题描述
使用PUTHDFS处理器将数据加载到HDFS中会有一个延迟。压缩后,虽然大小从MB更改为GB,但要在1小时后加载。 请在下面找到样本负载以供参考
878.4 M 2020-09-30 06:00 files_1
1.0 G 2020-09-30 07:00 files_2
1.3 G 2020-09-30 07:30 files_3
.
.
.
1.2 G 2020-10-01 00:30 file_4
1.1 G 2020-10-01 01:00 file_5
935.0 M 2020-10-01 01:01 file_6
893.6 M 2020-10-01 02:00 file_7
如果文件大小有变化,我会看到此延迟。 例如:文件1在6加载,下一个文件应在6:30加载,但是由于文件大小从MB更改为GB,下一个小时加载了文件2。请提供解决方案来解决此问题。>
解决方法
NiFi中有Penalty
的概念。这可能是案例。