问题描述
在Amazon Redshift中,使用S3存储桶作为数据源时,有一种创建分区键的方法。 Link.
我正在尝试使用sql On-Demand服务在Azure Synapse中做类似的事情。
-Sales (folder)
- 2020-10-01 (folder)
- File 1
- File 2
- 2020-10-02 (folder)
- File 3
- File 4
CREATE VIEW testview3 AS SELECT * FROM OPENROWSET ( BULK 'Sales/*/*.csv',FORMAT = 'CSV',PARSER_VERSION = '2.0',DATA_SOURCE = 'AzureBlob',FIELDTERMINATOR = ',',FirsTROW = 2 ) AS tv1;
如果我运行SELECT * FROM [myview]
的查询,我将从所有4个文件中接收数据。
我该如何创建分区键,以便可以运行查询,例如
SELECT * FROM [myview] WHERE folderdate > 2020-10-01
这样我只能分析文件3和4中的数据?
我知道我可以编辑OPENROWSET BULK语句,但我希望能够首先从容器中获取所有数据,然后根据需要限制搜索。
解决方法
无服务器SQL可以使用文件名(您希望加载一个或多个特定文件)和文件路径(您希望在此路径中加载所有文件)来解析分区文件夹结构。有关语法和用法的更多信息,请参见在线文档。
对于您而言,您可以使用filepath(1)>'2020-10-01'这样的文件路径语法来解析'2020-10-01'以后的所有文件
,为了扩展Raunak的答案,我为查询使用了以下语法。
DROP VIEW IF EXISTS testview6
GO
CREATE VIEW testview6 AS
SELECT *,r.filepath(1) AS [date]
FROM OPENROWSET (
BULK 'Sales/*/*.csv',FORMAT = 'CSV',PARSER_VERSION = '2.0',DATA_SOURCE = 'AzureBlob',FIELDTERMINATOR = ',',FIRSTROW = 2
) AS [r]
WHERE r.filepath(1) IN ('2020-10-02');
您可以通过添加额外的通配符(*)和r.filepath(x)语句来调整分区的粒度。
例如,您可以创建查询,例如:
DROP VIEW IF EXISTS testview6
GO
CREATE VIEW testview6 AS
SELECT *,r.filepath(1) AS [year],r.filepath(2) as [month]
FROM OPENROWSET (
BULK 'Sales/*-*-01/*.csv',FIRSTROW = 2
) AS [r]
WHERE r.filepath(1) IN ('2020')
AND r.filepath(2) IN ('10');