Mercari Spanner到Bigquery-QUERY中无法识别的参数

问题描述

使用Spanner的Mercari Tempalate到BigQuery-https://github.com/mercari/DataflowTemplates

通过Google控制台构建数据流时,它会起作用。

但是当通过CLI执行dataflow命令时,它会生成错误“无法识别的参数”。

数据流命令:

gcloud数据流作业运行mercari_CLI --gcs位置gs:// mystorage / templates / SpannerToBigQuery --region us-central1-暂存位置gs:// mystorage / temp --parameters projectId = myProject,instanceId = myspanner ,databaseId = mydpspanner,query = SELECT *,current_timestamp AS LoadDttm FROM source_table,output = raw_data_zone.testtable

尝试以下操作,但错误相同:

query="SELECT *,current_timestamp AS LoadDttm FROM source_table"
query="""SELECT *,current_timestamp AS LoadDttm FROM source_table"""
query='SELECT *,current_timestamp AS LoadDttm FROM source_table'
query=`SELECT *,current_timestamp AS LoadDttm FROM source_table`

有人会知道任何方法吗?

解决方法

我猜您正在gcloud命令中寻找转义序列(因为从gcloud控制台启动时您的工作正常)

我建议您浏览“ gcloud主题转义”或以下链接 https://cloud.google.com/sdk/gcloud/reference/topic/escaping

有一些示例可以指导您指定查询中不存在的分隔符。