在 Dataflow 作业期间无法将 json 序列化为表行以将数据流式传输到 BigQuery

问题描述

我正在使用 Dataflow 作业模板将数据从 Pub/Sub 订阅流式传输到 BigQuery。我需要从每个 JSON 文件转换值并将多个表行一次输出到 BQ 表。到达 Pub/Sub 的 JSON 消息的简化版本如下：

{"a":{"k1":v1,"k2":v2},"b":{"k1":v1,"k2":v2}...}

转换后的 JSON 应该如下所示：

[{"k1":v1,{"k1":v1,"k2":v2}...]

这是我创建的 UDF 的简化：

function transformToTableRows(injson) {
  var input = JSON.parse(injson);
  var output = [];
  for (var elem in input) {
    output.push({"k1": input[elem].k1,"k2": input[elem].k2})
  }
  return JSON.stringify(output);
}

不幸的是，这行不通，并会记录错误“无法将 json 序列化到表行”。有关如何解决此问题的任何建议？

解决方法

根据文档，模板旨在为每条消息仅输出一个表格行。谢谢 – 大ドア东