不能将试运行参数与 big_query 挂钩一起使用

问题描述

Bigquery 查询作业提供了在实际运行之前先试运行查询的选项。它有助于了解计费以及将在 BigQuery 中处理的数据量。以下是 QueryRequest 的片段：

{
  "kind": string,"query": string,"maxResults": integer,"defaultDataset": {
    object (DatasetReference)
  },"timeoutMs": integer,"dryRun": boolean,"preserveNulls": boolean,...

我试图在 google-cloud-composer 中的 BigQueryHook 的帮助下使用dry-run 参数，但我没有任何运气。 下面是我的代码片段：

def execute_sql(**kwargs):

    bq_hook = BigQueryHook(bigquery_conn_id='bigquery_default')
    bq_conn = bq_hook.get_conn()
    bq_cursor = bq_conn.cursor()

    #bq_cursor = BigQueryConnection(**kwargs).cursor()
    dryrun_sql = "select * from `{project}.{dataset}.{table}` where utcdate_='2021-01-01'"

    output = bq_cursor.run_with_configuration({'query':{"query": dryrun_sql,'useQueryCache':False,'useLegacysql':False,'dryRun':True}})

    utils.format_logging("job info: {},Bytes processed: ".format(output))

    return None

输出返回一个 bigquery job_id。我正在使用 job_id 来点击 BigQuery jobs.get api 来分析查询结果。在那里我可以看到我为查询付费，所以我可以推断出dry-run 参数实际上没有运行。

任何人都可以帮助如何使用 big_query 钩子中的dry-run 参数或提供替代解决方案？？？

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）