当新数据到达Bigquery时触发数据流作业

问题描述

我有两个BQ表A和B。我要实现的是，当新数据到达表A时，可以触发数据流作业以转换新记录并将其插入表B中，这可能吗？如果是，是否有最佳做法？

解决方法

我确定有多种方法可以解决此问题。 derived from this stakoverflow thread的一种方式如下：

1. 将 Stackdriver Logs 推送到 Pub / Sub 并应用 strong过滤器 ，该过滤器只能通过 BigQuery将作业加载到表A中。查看文档here了解更多信息。
2. 创建一个Cloud Function instance with a Pub/Sub trigger。
3. 该函数实例的职责是启动一个数据流批处理作业，该作业将进行必要的转换，然后最终将生成的PCollection写入表B。