Dataflow SQL (GCP)

问题描述

我想使用 Dataflow sql 读取 Pub/Sub 主题，丰富消息并将消息写入 Pub/Sub 主题。

哪个 Dataflow sql 查询将创建我想要的输出消息？

Pub/Sub input 消息：{"event_timestamp":1619784049000,"device":{"ID":"some_id"}}

Desired Pub/Sub output 消息：{"event_timestamp":1619784049000,"device":{“ID”:"some_id",“NAME”:”some_name”}}

我得到的是：{"event_timestamp":1619784049000,"device":{"ID":"some_id"},"NAME":"some_name" }

但我需要“设备”属性里面的NAME。

SELECT message_table.device as device,devices.name as NAME 
FROM pubsub.topic.project_id.`topic` as message_table
  JOIN bigquery.table.project_id.dataflow_sql_dataset.devices as devices 
  ON devices.device_id = message_table.device.id

解决方法

需要在投影中创建结构体（SELECT部分​​）

SELECT STRUCT(message_table.device.ID as ID,devices.name as NAME) as device
FROM pubsub.topic.project_id.`topic` as message_table
  JOIN bigquery.table.project_id.dataflow_sql_dataset.devices as devices 
  ON devices.device_id = message_table.device.id

,

遗憾的是，Dataflow SQL 目前不支持 STRUCT/Sub 查询，但我们正在努力。由于有一些 Apache Beam 依赖项阻止了其进度（Nested Rows Support、Upgrading Calcite），我们目前无法提供预计到达时间，但您可以在此 issue tracker 上跟踪其进度。