BigQuery-创建外部表

问题描述

如何在BigQuery中使用CREATE EXTERNAL TABLE DDL语句？

SnowFlake和Hive Based（Presto，AWS Athena ...）等大型数据仓库解决方案都具有它，而且它是如此有用。

解决方法

2020年10月14日更新，CREATE EXTERNAL TABLE已发布。

CREATE EXTERNAL TABLE dataset.table 
OPTIONS (
  format = 'NEWLINE_DELIMITED_JSON',uris = ['gs://bucket/*.json']
);

---

CREATE EXTERNAL TABLE选项在BigQuery中不可用，但您也可以使用BigQuery命令行界面来实现此目的：

创建表定义文件：

$ bq mkdef --autodetect --source_format=NEWLINE_DELIMITED_JSON "gs://gcp-bucket/*.json" > myschema

创建外部表：

$ bq mk --external_table_definition=myschema bq_dataset.bq_ext_table

文档链接：
https://cloud.google.com/bigquery/external-data-sources