使用 GZIP 编解码器在 Azure Synapse Analytics 中为 csv.gz 文件执行 COPY 语句时收到错误

编程问答 2022-05-22

问题描述

我有一个 COPY INTO 语句，该语句将 csv.gz 文件从 blob 存储帐户加载到 Azure Synapse 实例中，该实例在几乎一小时 (01:00:08) 后反复失败，并显示以下错误消息；

Error occurred while decoding 'https://somestorageaccount.blob.core.windows.net/container/file.csv.gz' using GZIP codec. Codec error code: -5. Codec error message: <unkNown>

我使用服务主体作为凭据来执行脚本 (followed this guide)，如下所示；

copY INTO [Schema].[tbTable]
FROM 'https://somestorageaccount.blob.core.windows.net/container/file.csv.gz'
WITH  (
    CREDENTIAL = (IDENTITY= 'xxx-123-abc@https://login.microsoftonline.com/abc-xxx-123/oauth2/token',SECRET='123-secretvalue-xxx'),FILE_TYPE = 'CSV',COMPRESSION = 'GZIP',FIELDTERMINATOR = ',',FIELDQUOTE = '"',ENCODING = 'UTF8',FirsTROW = 2
);

我已经使用设置为存储帐户密钥的凭据测试了此脚本，但我没有遇到相同的问题。我更愿意设置一个服务主体来执行脚本。

我怀疑脚本在一小时后反复失败（超时？）。这可能是服务主体权限问题吗？我找不到任何迹象表明使用此身份发出的进程存在超时。

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）

azureazureazureazure-synapsecsvcsvcsvgzip