有没有办法在 GLUE ETL 上使用 AWS DMS 端点源

问题描述

我们需要将数据从内部部署的 sql server 数据库迁移到 s3。我们已经在 aws dms 上开发并测试了一个运行良好的迁移。但是为了对某些表进行一些自定义转换,我们认为胶水是更好的选择,因为它可以使用 pyspark。

问题在于编写 pyspark 例程意味着在连接字符串上对用户和密码进行硬编码。从这个意义上说,我们认为使用我们已经测试和编码的 DMS 端点源作为信息源是一个更好的主意。

现在是否有人可以通过这种方式消费数据?

提前致谢。

解决方法

暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!

如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@)