计算5分钟内从IP地址到应用程序负载平衡器的请求数量的更好方法

问题描述

我正在尝试使用AWS WAF设置应用程序负载平衡器的速率限制。

我感到困难的一件事是计算每个IP地址发送的请求数量

目前,我计算此数字的方式是使用excel分析负载均衡器的access log

这真的很不方便,因为日志文件123456789123_elasticloadbalancing_<my_region>_app.awseb-AWSEB-KOAJA32RNYD8.3doo93xxx07e93c7_20200210T0010Z_13.232.79.235_3o9wv54o.log.gz)的时间只有5分钟。

要分析24小时,我必须下载并提取存储在S3存储桶中的24 * 60 / 5 = 288日志文件

是否可以在5分钟内直接从AWS WAF获取每个IP地址的请求数量

解决方法

您是否看过S3 Select(https://docs.aws.amazon.com/AmazonS3/latest/dev/s3-glacier-select-sql-reference-select.html)?它可能会在这里提供解决方案。