如何在数据流模板中运行多个查询?

问题描述

我正在使用jdbc到数据流中的bigquery模板执行从MysqL到bigquery数据的迁移。

但是在MysqL上执行“ select * from teable1”命令时,出于某种原因,我也想将所选数据插入同一数据库中的另一个表中。

如何在数据流模板中执行选择查询和插入查询?在两个查询之间使用分号时出现错误

解决方法

从Jdbc到Bigquery的模板会将您读取的所有数据写入“ Bigquery输出表”(<my-project>:<my-dataset>.<my-table>)下指定的表中,因此无需编写插入语句。

(对于gcloud / REST,该参数为“ outputTable”)

,

@PeterKim提到JDBC to BigQuery termplate可能不是您的用例的最佳方法。

您可以尝试使用该模板作为参考,并对其进行修改以写入MySQL,在此post中,您将找到有关如何在MYSQL数据库中进行插入的实现。

修改pipeline source code后,您可以创建一个custom template