如何将 kafka 主题中的平面 json 消息转换为可以使用标签导入 Opentsdb 的内容

问题描述

我刚刚开始使用 OpenTSDB 2.4。我在 kafka 主题中有这些平面消息：

{
  "field_a": "transmit","field_b": "10.20.30.254","timestamp": 1624409678000,"bytes": 245
}

我想将此数据写入OpenTSDB的方式如下：

[
{
    "metric": "netflow.bytes","value": 245,"tags": {
    "field_a": "transmit","field_b": "10.20.30.254"
    }
}
]

问题是，如何将我的数据转换为第二个数据。是否可以在不编写自定义 Kafka-Connect 插件的情况下执行此操作？

谢谢，

解决方法

您可以编写自己的自定义 Kafka 消费者来进行转换。它不需要是 Kafka 连接代码。