AWS Cloudwatch 过滤器和模式语法问题

问题描述

我按照此处的说明操作https://docs.aws.amazon.com/AmazonCloudWatch/latest/logs/FilterAndPatternSyntax.html

但它并没有像我期望的那样工作。我正在尝试创建以下模式 [...,Query_time>1800,]，但不起作用。我需要查询时间大于 1800 的日志。

以下是云观察日志：

# Time: 210126  5:31:49 # User@Host: et_user[et_user] @  [127.0.0.1]  Id: 458426829 # Query_time: 6.408787  Lock_time: 0.000206 Rows_sent: 1  Rows_examined: 19439654 SET timestamp=1611639109; SELECT                                 COUNT(disTINCT v.customer_id) AS total_registrations,COUNT(r.id) AS total_savings,SUM(r.savings_estimate) AS total_estimated_savings                             FROM web_ten.`validation` v                                 LEFT OUTER JOIN web_ten.`savings` r ON v.user_id = r.user_id AND r.status=1                                     AND r.company LIKE 'ABDSDF%'                                     LEFT OUTER JOIN `web_ten`.outlet AS o ON r.outlet_id = o.id                                     AND o.user_id NOT IN (SELECT id FROM `web_ten`.`user` WHERE is_tutorial = 1)                             WHERE                                   v.isused = 1 AND no_company = 'ABDSDF'                                    AND v.email NOT IN (                                         SELECT `email` FROM `web_ten`.excluded_demo_emails                                     );
# User@Host: et_user_test[et_user_test] @  [127.0.0.1]  Id: 453140660 # Query_time: 2.018429  Lock_time: 0.000051 Rows_sent: 0  Rows_examined: 743405 use production; SET timestamp=1611639131; UPDATE `web_ten`.`pm_user_order` SET `cron_processing`=0 WHERE `id` > 0;

解决方法

在这种情况下，您要从空格分隔的日志事件中提取值，因此您必须根据空格定义每个字段。 您应该使用的过滤器模式是：

[,field2 = *Query*,query_time_value>1800,...]

说明：

• 第一个字段（第一个空格之前的文本）在过滤器中不相关，因此未声明
• 第二个字段需要过滤为Query，以确保过滤器中只包含所需的日志
• 第三个字段是查询时间的当前值，所以这里是过滤器（>1800）
• 不需要下一个字段，因此使用“...”忽略

通过这种方式，您的指标过滤器应该可以工作了。我已经根据您的日志进行了测试，结果如下：

Test result metric filter

更新

根据您的日志结构，您可以以 2 种不同的格式打印查询时间。您将需要 2 种不同的过滤器模式：

[,f13=*Query*,querytimevalue>18,...]

和

[,f9=*Query*,...]

另一个更简单的过滤选项是使用 CloudWatch Insights 并使用此查询进行过滤：

parse @message '*Query_time: * *' as f1,querytime,f2
| display querytime
| filter querytime > 18

考虑到 CloudWatch Insigths 不允许您基于此查询创建指标或警报，但您可以在仪表板中看到它。