【日志服务CLS】配置使用 Nginx 访问日志中的原始时间戳

0x01.前言

针对于上一篇文章【日志服务CLS】Nginx 访问日志接入腾讯云日志服务中结尾提到的问题,晚上又去控制台仔细看了一篇,发现其实是有设置项的,只不过默认是关闭的状态


0x02.解决问题

才发现控制台在采集配置处可以配置时间戳的来源,默认是以上报时间为准

使用采集时间

毕竟Nginx本身就有时间戳,首先查看实际存储的例子

time_local

然后关闭开关进行自定义配置,配置时间格式参照:配置时间格式

时间提取格式

直接把示例中的例子抄过来就能用了,如果不一样的话则需要对应修改

不正确

然后发现并没有生效,即使重启loglistenerd进程也无果,困扰了一天之后终于发现了问题所在

去下载最新版本nginx-1.20.0查看其配置文件中时间戳为变量$time_local

nginx.conf

然后去gh看看源码是怎么写的:https://github.com/nginx/nginx/blob/a64190933e06758d50eea926e6a55974645096fd/src/http/modules/ngx_http_log_module.c#L235

time_local

实际存储的例子中24/May/2021:21:19:21 +0800,年份和时间之间有一个冒号

因此时间格式解析应该是:%d/%b/%Y:%H:%M:%S

正确

0x03.验证

1,使用采集时间

操作:手动停止loglistenerd进程,等待nginx记录一段时间的日志之后再启动

可以发现图表中的时间是启动之后的的采集时间,全堆到一起了,而nginx所接收到的实际请求并不是这样

产生堆积

时间戳显然是不同的

使用采集时间

2,使用时间键

操作:控制台配置使用时间键解析,此时日志的时间和nginx记录的时间完全一致

使用时间键

0x04.后记

本来是打算在上篇文章中进行追加修改,后来想到这个问题比较常见,于是就单独拎出来这篇文章了


相关文章

文章浏览阅读3.7k次,点赞2次,收藏5次。Nginx学习笔记一、N...
文章浏览阅读1.7w次,点赞14次,收藏61次。我们在使用容器的...
文章浏览阅读1.4k次。当用户在访问网站的过程中遇到404错误时...
文章浏览阅读2.7k次。docker 和 docker-compose 部署 nginx+...
文章浏览阅读1.3k次。5:再次启动nginx,可以正常启动,可以...
文章浏览阅读3.1w次,点赞105次,收藏182次。高性能:Nginx ...