问题描述
我想安排我的数据流 sql 作业。这是我的 gcloud 命令
gcloud 数据流 sql 查询“我的 SELECT 查询”--job-name dfsql-2d7a0189-177fc4f9444 --region us-east4 --bigquery-write-disposition write-truncate --bigquery-project dev-dp- myproject --bigquery-dataset mydataset --bigquery-table mytable --service-account-email dataflow-run @myserviceaccount.iam.gserviceaccount.com --subnetwork https://www.googleapis.com/compute/v1/projects/mysubnetwork
如何安排此 gcloud 命令，使其每 15 分钟运行一次。
解决方法
另一种解决方案，您可以通过 Apache beam Dataflow runner 运行您的查询。由于可以根据您的要求通过 Cron/Google Scheduler/Google Composer 轻松安排 Dataflow 作业。一个 sample Apache beam 代码，您可以参考它并相应地对其进行自定义。
,Cloud Shell 不是旨在用作生产环境一部分的工具，在此类情况下建议您使用 GCP 产品本身提供的工具，而不是运行 gcloud 命令。
您可以在 this tutotial 中找到如何使用 Cloud Scheduler 安排 Dataflow 作业的示例，我相信这正是您正在寻找的。p>