用于预处理和 SQL 注入预防的参数化查询配置

问题描述

使用glue_context.write_dynamic_frame.from_jdbc_conf（更多信息here），可以使用connection_options属性preactions（以及postactions，如有必要）提交sql语句（ s) 在发布主要作业之前（或之后）。

我看过很多关于如何防止 sql 注入的各种场景的材料，似乎压倒性的建议和最佳实践是实现所谓的 parameterized queries。

这一切都很好，但是当我尝试在 AWS glue Jobs（通过 PySpark）中构建和测试这种方法时，会抛出格式错误。

例如，这里是“坏”示例查询：

bad_sql = """DROP TABLE {0}""".format("secret_stuff");

或者，正确的做法是这样的：

good_sql = "DROP TABLE %(secret_table_name)s',{'secret_table_name': 'secret_stuff'}"

请注意，这两个都作为我代码的一部分包含在此块中：

glue_context.write_dynamic_frame.from_jdbc_conf(
        frame = drop_null_fields,catalog_connection = glue_manual_func_args['connection_name'],connection_options = {
            "dbtable": "{0}.{1}".format(glue_manual_func_args['schema_name'],glue_manual_func_args['target_table_name']),"database": glue_manual_func_args['target_database_name'],"preactions": # good_sql or bad_sql
            },redshift_tmp_dir = glue_aws_func_args["TempDir"],transformation_ctx = "datasink"
    )

使用第一个（错误的）查询时，一切正常并且作业在 glue 中成功运行，但是，使用第二个查询时，会引发以下错误：

如果我在 glue 作业控制台上查看错误摘要，输出如下：

调用 o92.pyWriteDynamicFrame 时出错。亚马逊无效操作：“列表”处或附近的语法错误

我在这方面受阻，并且确定解决方案与正确格式化字符串有关，但我真的很感激这方面的一些指导。

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）

aws-glue prepared-statement pyspark pyspark