如何将日志从AWS SQS队列读入FluentD?

问题描述

我正在尝试将我的AWS SQS队列中的某些日志读得很流利。我以为fluent-plugin-s3插件可以解决这个问题,但是在阅读了文档之后,似乎它只写入了S3存储桶。

s3 output plugin buffers event logs in local file and upload it to S3 periodically.

我使用的是VMWare's Fluentd operator,它只带有认的插件列表。

我的问题是,有什么方法可以使用任何认的经过整理的插件来将传入日志从AWS SQS读取到Fluentd中?如果插件不合适,如何为该Fluentd运营商安装插件?例如fluent-plugin-s3-input

任何建议都值得赞赏。

解决方法

SQS有一个专用的输入插件:https://github.com/ixixi/fluent-plugin-sqs

我在这里找到它:https://www.fluentd.org/plugins

S3插件使用SQS只是跟踪S3事件(如新创建的文件)并读取它们。