Snowpipe会跳过文件

问题描述

我们已经使用SNowpipe大约10个月了，最近我们遇到了一种情况，其中stage中的部分文件被上传到相应的雪花表，并且未检测到任何将来的文件。验证基础的stage和pipe处于有效状态。

让我们假设暂存位置为s3：// / some / path，并且有5个文件file1.csv，file2.csv，file3.csv，file4.csv，file5.csv

select Metadata$filename,count(*) from @<DB_NAME>.<SCHEMA>.<STAGE_NAME> group by Metadata$filename;

输出表明已检测到所有5个文件，并且计数与预期的一致。但是file4.csv和file5.csv从未被摄取。

select * from table(information_schema.copy_history(table_name=>'<TABLE_NAME>',start_time=> dateadd(hours,-1000,current_timestamp())));

不显示复制历史记录，这使我们怀疑表/管道是否处于不确定状态，以及是否有解决方法。

注意：copy_history命令适用于数据库中的其他表。

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）