使用 Hazelcast jet 进行 JSON 处理

问题描述

我使用 postgres SQL 作为数据库。

-------------------------
id   |  name   | value  |
-------------------------
 1   |  john   |  {"id":"0001"}
-------------------------

上面是简单的json但是在应用层面Json很大。

所以一旦我们将 json 数据上传到 jet 如何通过在 jet 中创建管道来处理 json 数据..

任何简单的建议都有助于开始。

谢谢..

解决方法

从PostgreSQL到Jet有两种方式获取数据：

1/ 批处理模式，Jet 根据您提供的 SQL 查询获取数据。请参阅code sample。此模式可通过 JDBC source 使用，并生成映射到域对象的 ResultSet。

2/ 流模式，其中 Jet 订阅对数据库表的更改，并收到任何 INSERT、UPDATE 或 DELETE 的通知。该事件包含新行值。请参阅tutorial。此模式可通过 PostgresCdcSource 获得并产生 ChangeRecords。

两种模式都为您提供字符串形式的原始 JSON。您可以使用 JSON 运算符方便地将 JSON 数据映射到您的域对象，以便您可以在下游进一步处理它们。