雪花中的文件格式问题 - Tilda字段分隔符，两个双引号

问题描述

我们正在从红移迁移到雪花。有一张红移表，由 S3 文件加载。将文件加载到红移的语法是

copy edfenormalisedconfzone.address_1
from 's3://aws-d**/addr**.dat' 
 iam_role 'arn:aws:iam::659**:role/AWS_dub_**'
delimiter '~' REMOVEQUOTES ACCEPTINVCHARS gzip MAXERROR 1  null as 'NULL' EXPLICIT_IDS;

sNowflake 中对应的命令是

copY INTO "FLK_dub_DB_DATALAKE_PRE"."EDFEnorMALISEDCONFZONE"."ADDRESS1"
from @FLK_dub_DB_DATALAKE_PRE.S**.FLK**/SNowFLAKE/ad**.dat0005_part_00.gz
FILE_FORMAT = (TYPE = CSV,FIELD_DELIMITER = '~',NULL_IF = ('NULL','NULL')
FIELD_OPTIONALLY_ENCLOSED_BY = '"'
EMPTY_FIELD_AS_NULL = FALSE
COMPRESSION = GZIP
ENCODING = 'UTF8' 
FILE_EXTENSION=DAT)
ON_ERROR = ABORT_STATEMENT;

文件加载到 Red-Shift 没有问题，但是文件无法加载到雪花中，经过进一步检查，我们发现表中的邮政编码字段在 tilda(~) 之后有两个双引号 ("") )

enter code here:47"~""W!U """"""RU""~" "

我们正在将 Red Shift 文件格式转换为雪花文件格式，但不确定为什么这在雪花中不起作用。

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）