问题描述
我可以使用 aws 胶在 sql server 中创建表/写入表吗?我正在使用 pyspark (mssqljdbc) 读取数据,但我不知道如何写入表。
我可以连接到 sql 服务器,但我正在尝试使用 DDL(读/写除外)创建表。这是
我用于阅读的样本。
如果有人有示例代码,请分享。谢谢
df = spark.read.format(i['type']) \
.option("url","jdbc:sqlserver://" + i['host'] + ":" + i['port'] + ";databaseName=" + i['database']) \
.option("user",i['user']) \
.option("password",i['password'])\
.option("dbtable",i['table'])\
.option("partitionColumn",i['partitioncol']) \
.option("lowerBound",i['lowerbound']) \
.option("upperBound",i['upperbound']) \
.option("numPartitions",i['partitionnum']) \
.option("driver","com.microsoft.sqlserver.jdbc.sqlServerDriver") \
.load()
解决方法
是的,您可以在 Glue 上使用普通的 pyspark 代码,但您需要创建一个 Glue Connection,以便您可以连接到您的 SQL 服务器。