如何将数据从Mysql数据库获取到Snowflake

问题描述

有什么聪明的方法可以将我的数据从MysqL数据库获取到雪花吗？ 到目前为止，我发现了两种可能的方法：

选项1：将sNowpipe放置在MysqL数据库的顶部，然后管道会自动转换数据。 选项2：我将表格手动转换为csv并将其存储在本地，然后通过暂存到雪花加载它们。

对我来说，首先将每个表转换为csv似乎很奇怪。我不仅可以将sql转储文件推送到雪花吗？我还可以在雪花中安排一些重新加载任务，以便option1或2自动触发吗？

最佳 NicBeC24

解决方法

我在这里找到了一些有关MySQL-Snowflake-migrations的很好的信息：https://hevodata.com/blog/mysql-to-snowflake-data-migration-steps/

以上网页的主要步骤是：

1. 从MySQL导出数据
2. 注意数据类型
3. 将文件保存到Snowflake（内部/外部阶段）
4. 将暂存的文件复制到表中

如果SQL转储只是ANSI中的“ .sql文件”，当然可以，您可以将其复制并粘贴到Snowflake工作表中并在其中执行。

关于计划：是的，在Snowflake中，有一个名为“任务”的功能：https://docs.snowflake.com/en/user-guide/tasks-intro.html您可以使用它们来计划COPY INTO命令。