创建指向S3的外部表

问题描述

我们如何使用SNowflake sql创建指向S3中目录的外部表？下面是我到目前为止尝试过的代码，但是没有用。非常感谢您的帮助。

create external table my_table
(
column1 varchar(4000),column2 varchar(4000)
)
LOCATION 's3a://<externalbucket>'

注意：我在S3存储桶中的文件是一个csv文件（逗号分隔，双引号括起来并带有标题）。

解决方法

您需要将位置更新为外部舞台，包括file_format参数，并为列添加正确的表达式。
位置参数：

Specifies the external stage where the files containing data to be read are staged.  

此外，您需要定义file_format

https://docs.snowflake.com/en/sql-reference/sql/create-external-table.html#required-parameters

所以您的陈述应更像这样：

create external table my_table
(
column1 varchar as (value:c1::varchar),column2 varchar as (value:c2::varchar)
)
location = @[namespace.]ext_stage_name[/path]
file_format = (type = CSV)

您可能需要以文件格式定义其他参数才能正确处理文件

,

最后我将其整理出来。发布此答案是为了使答案易于理解，尤其是对于初学者。

说我在S3位置的csv文件格式如下。

第1步：

创建一种文件格式，您可以在其中定义文件的类型，字段定界符，用双引号引起来的数据，跳过文件的标题等。

create or replace file format schema_name.pipeformat
type = 'CSV' 
field_delimiter = '|' 
FIELD_OPTIONALLY_ENCLOSED_BY = '"'
skip_header = 1

https://docs.snowflake.com/en/sql-reference/sql/create-file-format.html

第2步：

创建一个舞台以指定S3详细信息和文件格式。

create or replace stage schema_name.stage_name 
url='s3://<path where file is kept>'
credentials=(aws_key_id='****' aws_secret_key='****')
file_format = pipeformat

https://docs.snowflake.com/en/sql-reference/sql/create-stage.html#required-parameters

第3步：

根据阶段名称和文件格式创建外部表。

create or replace external table schema_name.table_name 
(
    RollNumber INT as  (value:c1::int),Name varchar(20) as ( value:c2::varchar),Marks int as (value:c3::int)
)
with location = @stage_name
file_format = pipeformat

https://docs.snowflake.com/en/sql-reference/sql/create-external-table.html

第4步：

现在，您应该可以从外部表进行查询了。

select * 
from schema_name.table_name