问题描述
希望你们在这场大流行中一切安好。
我有一个 Kubernetes 集群正在运行。 Pod 之间的通信是通过 kafka 完成的。它目前仅记录到标准输出。没有文件。没有卡夫卡主题。这显然很糟糕。
我想设置一个 grafana 实例，让我将所有日志集中在那里。存储将是 Loki + S3
为了做到这一点，我发现很多人使用 Fluentd、FluentBit 和 Promtail 等工具，将日志集中起来并发送给 Loki。但是，我已经在运行 Kafka。如果我可以通过“日志记录”主题将所有日志发送到 kafka，我不明白为什么我会使用诸如 fluentd 之类的工具。
我的问题是：如何将日志主题中的所有消息发送给 Loki？ Fluentd 无法从 kafka 获取输入。
我是否必须设置一些定期运行的脚本，对数据进行排序并将其直接发送给 loki？
解决方法
我建议您使用 promtail，因为它也来自 Grafana，而不是使用 kafka 解决方案。
如果您将应用中的日志发送到 kafka，那么您需要：
- 修改您的应用以发送到 kafka 而不是 stdout
- 配置一个日志转发器以在 kafka 上向 loki 发送消息（它可以流利）
如果您使用一种通常建议的方法，您需要：
- 配置日志转发器以将消息从 docker stdout 发送到 loki（您可以使用 promtail 默认配置）
但是如果你想在中间使用 kafka 来解决你的解决方案，那么有一些 fluentd 插件可以将 kafka 配置为输入和输出。 https://github.com/fluent/fluent-plugin-kafka