问题描述
我很抱歉,因为我对使用堆栈溢出还很陌生。如果我需要更改我的问题,请告诉我。
我目前正在尝试为我的工作设置日志聚合器。我的计划是使用弹性堆栈和 filebeat 来收集日志并显示它们。我使用本教程来设置初始服务器:
我能够使用 filebeat 系统模块从系统中读取系统日志,就像在教程中一样。然后我将其禁用,以便我可以尝试从瞻博网络交换机记录系统日志,而不必阅读所有服务器系统日志。
现在我只是想让日志从瞻博网络交换机进入我的虚拟机。我已将交换机设置为在端口 9513 上将系统日志发送到虚拟机的 ip。当我使用 tcpdump 监控端口时,我可以看到日志。
select * from posts
我知道有几种不同的方法可以使用 filebeat 来读取此输入数据。一种是使用我已启用的默认瞻博网络模块。我还可以在 filebeat.yml 配置文件中设置一个 syslog 类型输入。我已经使用端口 9513 和端口 514 尝试了这两种方法。
user@logserver:~$ sudo tcpdump -i ens160 port 9513
tcpdump: verbose output suppressed,use -v or -vv for full protocol decode
listening on ens160,link-type EN10MB (Ethernet),capture size 262144 bytes
16:42:20.558768 IP ***.***.***.***.syslog > logserver.9513: SYSLOG local7.info,length: 124
16:45:00.571980 IP ***.***.***.***.syslog > logserver.9513: SYSLOG cron.info,length: 79
16:45:00.576370 IP ***.***.***.***.syslog > logserver.9513: SYSLOG cron.info,length: 91
16:47:45.944277 IP ***.***.***.***.syslog > logserver.9513: SYSLOG local7.info,length: 124
16:48:20.568840 IP ***.***.***.***.syslog > logserver.9513: SYSLOG local7.info,length: 64
16:50:00.653082 IP ***.***.***.***.syslog > logserver.9513: SYSLOG cron.info,length: 91
16:50:55.769884 IP ***.***.***.***.syslog > logserver.9513: SYSLOG local7.info,length: 106
16:50:55.777058 IP ***.***.***.***.syslog > logserver.9513: SYSLOG local7.notice,length: 112
16:50:57.704914 IP ***.***.***.***.syslog > logserver.9513: SYSLOG local7.info,length: 101
16:50:57.817315 IP ***.***.***.***.syslog > logserver.9513: SYSLOG local7.notice,length: 112
16:55:00.701165 IP ***.***.***.***.syslog > logserver.9513: SYSLOG cron.info,length: 91
17:00:00.766060 IP ***.***.***.***.syslog > logserver.9513: SYSLOG cron.info,length: 91
17:00:00.777780 IP ***.***.***.***.syslog > logserver.9513: SYSLOG cron.info,length: 79
我猜测 filebeat 配置中有一些我不理解的东西,因为 filebeat 没有将任何系统日志信息发送到 logstash。我还在端口 5044 和 lo 接口上使用了 tcpdump,教程使用该端口设置 filebeat 的输出和 logstash 的输入。当我运行它并从端口 514 或 9513 上的交换机接收新日志时,没有任何内容通过 5044 发送,如下所示:
filebeat.inputs:
- type: syslog
protocol.udp:
host: "localhost:514"
- type: syslog
protocol.udp:
host: "localhost:9513"
- module: juniper
junos:
enabled: true
# Set which input to use between udp (default),tcp or file.
var.input: udp
var.syslog_host: localhost
var.syslog_port: 514
- module: juniper
junos:
enabled: true
# Set which input to use between udp (default),tcp or file.
var.input: udp
var.syslog_host: localhost
var.syslog_port: 9513
对理解 filebeat 的任何帮助将不胜感激。先谢谢你
解决方法
我不确定我到底做了什么,但现在似乎可以正常工作了。我删除了“set system syslog host ...”的瞻博网络配置,并在没有端口分配的情况下重新进行了配置.这意味着我所有的 syslog 消息现在都将发送到 514 端口,因此我检查了服务器上的该端口。它正在接收所有日志,因此我将 logstash 和 filebeat 配置文件重置为默认设置并禁用了 filebeat 上的所有模块。我禁用并停止了 filebeat 和 logstash,重新启用并重新启动。之后,我在 filebeat 中重新启用了系统和瞻博网络模块。这以某种方式起作用了,我现在可以看到系统日志从瞻博网络交换机进入 elasticsearch。