通过过滤将多个表写入 bigquery

问题描述

我正在从 jdbc 连接读取转换为 tablerows，然后使用以下代码将数据上传到 bigquery。

我期望的数据有多个列，其中之一称为“电话号码”。如果我想在不同的表中存储此电话号码长度小于 8 位的行，请将它们删除，并将两个表（一个具有无效电话号码，另一个具有正确电话号码的剩余数据）写入 bigquery。 读取jdbc数据后可以用什么方法做这个？

application-profile.yml

解决方法

您应该使用 Filter 转换：https://beam.apache.org/documentation/transforms/java/elementwise/filter/