问题描述
我正在尝试将Elasticsearch数据流式传输到SNowflake中。我正在测试一个python脚本，该脚本最终将部署为AWS上的云功能/ docker应用程序。出于历史原因，我使用ISubscriptions API将x个对象写入字符串，并将字符串写入文件。我已经使用了SNowflake的scroll，但这意味着我需要在临时存储之前将文件临时写入磁盘。我要提取的数据非常多，并且正在尝试消除尽可能多的步骤。我可以将文件直接写到舞台上吗？
解决方法
如果在保存到S3时创建链接到S3的Snowflake Stage，无论您决定使用什么，它都会自动出现在Snowflake Stage上，这样，您只需发送COPY INTO命令并保存一个一两个步骤。
我认为这是一个简单方便的解决方案。
如果您需要这些步骤，请告诉我，我很乐意在此处发布这些内容。
,您可以使用吸管。您需要连续创建较小的文件并使用Snowpipe，然后继续上传它们。您可以使用Amazon Kinesis Firehose来管理批次。 请参阅https://docs.snowflake.com/en/user-guide/data-load-considerations-prepare.html#continuous-data-loads-i-e-snowpipe-and-file-sizing和https://docs.aws.amazon.com/firehose/latest/dev/create-configure.html
上的文档