如何将日志从AWS SQS队列读入FluentD？

问题描述

我正在尝试将我的AWS SQS队列中的某些日志读得很流利。我以为fluent-plugin-s3插件可以解决这个问题，但是在阅读了文档之后，似乎它只写入了S3存储桶。

s3 output plugin buffers event logs in local file and upload it to S3 periodically.

我使用的是VMWare's Fluentd operator，它只带有默认的插件列表。

我的问题是，有什么方法可以使用任何默认的经过整理的插件来将传入日志从AWS SQS读取到Fluentd中？如果默认插件不合适，如何为该Fluentd运营商安装插件？例如fluent-plugin-s3-input

任何建议都值得赞赏。

解决方法

SQS有一个专用的输入插件：https://github.com/ixixi/fluent-plugin-sqs

我在这里找到它：https://www.fluentd.org/plugins

S3插件使用SQS只是跟踪S3事件（如新创建的文件）并读取它们。