有没有一种方法可以减少雪管加载时间?

问题描述

我正在阅读此User Guide,其中提到“通常”的雪管需要1分钟来加载数据。在我的实验中,我发现总是要花一分钟。 1分钟的延迟来自何处?感觉每分钟有一些批处理正在进行。有什么地方可以降低它的范围吗?

解决方法

截止到今天,还没有任何设置可以减少这种延迟-您实际上是在逐分钟进行微分批处理。

如果您想进行更频繁的更新,最好的选择是保持仓库运行并向其提交UPDATECOPY查询。

如果不需要一分钟的延迟,则应使用Snowpipe以及可能的Kinesis Firehose之类的工具将记录批处理成一个文件,每分钟一次放入S3。