在elastisearch / kibana中未正确接收pipeline.json

问题描述

Filebeat v7.9.1
Elastisearch v 7.9.1
Kibana v7.9.1

在Windows上运行。

我有一个pipeline.json文件，它描述了模块的摄取部分。

@H_404_13@{
"description": "Pipeline for parsing aaa server logs.","processors": [
    {
        "grok": {
            "field": "message","patterns": [
                "^%{NUMBER:aaa.server.processid}%{SPACE}%{TIMESTAMP_ISO8601:aaa.server.timestamp}%{SPACE}%{LOGLEVEL:aaa.server.severity}%{SPACE}:%{SPACE}(?:\\[%{IPORHOST:aaa.server.shortcategory}\\])?%{SPACE}(?:\\[%{DATA:aaa.server.threadid}\\])?%{GREEDYDATA:aaa.server.message}"
            ]
        },"date": {
            "field": "aaa.server.timestamp","formats": ["yyyy-MM-dd HH:mm:ss,SSS","ISO8601"],"on_failure": [{"append": {"field": "date.error.message","value": "{{ _ingest.on_failure_message }}"}}]
        }
    }
],"on_failure": [{
        "set": {
            "field" : "error.message","value" : "{{ _ingest.on_failure_message }}"
        }
    }
]

}

当我开始filebeat时，这会传输到elastisearch / kibana，如果我单击“摄取节点管道”上的链接filebeat-7.9.1-aaa-server-pipeline，我会在屏幕右侧看到正确的json。但是，当我在管道上按Edit时，整个日期部分都消失了。关于日期部分，摄取的数据未正确处理。 @timestamp未按照json中的说明进行更新。

按照json文件中的说明手动添加日期处理器可以解决解析问题。

这只发生在我身上吗？

编辑：错字+添加手动步骤。

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）

elasticsearch filebeat