Nifi：如何使用folderFilter从S3提取文件

问题描述

我需要通过NIFI访问AWS S3存储桶，并将文件从特定子文件夹Ex：-S3存储桶名称：my_bucket处理为HDFS。 my_bucket（S3）ABC，BDE，CEF下的文件夹。我只需要处理BDE子文件夹中的文件，而忽略ABC和CEF格式。

我当前正在使用ListS3->提取S3-> Routeonattribute-> UpdateAttribute-> PutHDFS

我无法过滤ListS3或FetchS3上的文件夹名称。因此，考虑通过如下对绝对路径进行过滤来使用Routeonattribute。如果上述逻辑正确，可以请您帮忙吗？ $ {absolute.path：contains（'DBE'）}

解决方法

可以使用属性前缀过滤ListS3中的文件夹 在前缀中提供所需的文件夹名称。例如：BDE/ 它将附加存储桶名称

因此，它会列出 BUCKET_NAME/PREFIX 中存在的文件