Bigquery dbt_external_tables 外部数据配置

问题描述

我在使用 dbt_external_tables 包时需要一些帮助。

我意识到在 GCS 中的 csv 中，有些行似乎有换行符，这在尝试查询由宏创建的表时会导致一些问题。

有时手动配置外部表时，BigQuery 界面有两个选项：允许锯齿状行 (CSV) 允许带引号的换行符 (CSV) true 我通常将这些选项设为 true，有时问题会得到解决。我不知道如何使用 dbt_external_tables 来做到这一点。

这很重要，因为我在尝试查询 dbt 创建的表时收到此错误“读取表时出错：kpi-process.file_csv.History，错误消息：CSV 表引用列位置 9，但行开始于位置:10956 仅包含 7 列。"

解决方法

dbt-external-tables 包支持为 BigQuery 外部表传递 a dictionary of options，该表映射到 options documented here。在您的情况下，听起来您想打开 allow_jagged_rows 和 allow_quoted_newlines，因此您可以像这样指定它们：

version: 2
sources:
 - name: my_external_source
   tables:
     - name: my_external_table
       location: 'gs://bucket/path/*'
       options:
         format: csv
         allow_jagged_rows: true
         allow_quoted_newlines: true

并且 dbt 将相应地模板化 DDL 语句：

create or replace external statement my_external_source.my_external_table
options (
  format = 'csv',allow_jagged_rows = true,allow_quoted_newlines = true,uris = ['gs://bucket/path/*']
)

cloud-storage dbt external-tables google-bigquery