将S3中的Avro文件复制到Redshift中会给出“无效的时间戳格式或值[YYYY-MM-DD HH：MI：SS]”错误

问题描述

我在S3中有一个活泼的压缩avro文件。源代码和第三个检查项显示date字段：

"date" : "2018-01-21 19:00:00.000000"

copY命令：

copy schema.table
from 's3://bucket_name/file_name.avro'
access_key_id 'abc'
secret_access_key '123'
maxerror as 5
timeformat 'auto'
format as avro 'auto'

指向我的date列并显示：

Invalid data

我也尝试过：

timeformat 'YYYY-MM-DD HH:MI:SS'
dateformat 'YYYY-MM-DD HH:MI:SS'

这将导致：

Invalid timestamp format or value [YYYY-MM-DD HH:MI:SS]

Redshift在这些错误中指向的原始date字段与原始源中的字段看起来不一样。看起来像：

1597017600000000

我已经尝试过，哪些时间段和时间段超出了范围。

任何帮助都值得赞赏。

编辑：我现在已经在没有SNAPPY压缩的情况下尝试了它，因为事实证明copY不支持它。出现同样的错误，这不是原因。

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）