在AWS Glue Job中处理加密的JSON

问题描述

在我们的前提环境中，JSON为贷款数据生成并使用一个核心加密罐进行加密，并且此加密的JSON被保存到mysql表中，并且从Java调用了相同的核心加密罐来解密相同的JSON值。现在，我们已决定将胶水服务用于ETL。当执行Glue时存在来自加密的JSON的数据时，谁能帮助我在这里调用核心加密。

我们如何在AWS Glue ETL Job中处理上述过程？

解决方法

您可能需要使用自定义脚本。

https://docs.aws.amazon.com/glue/latest/dg/console-custom-created.html

您可以指定脚本所依赖的jar：

从属jar路径逗号分隔的Amazon S3路径到以下JAR文件 是脚本所必需的。注意目前，仅纯Java或Scala （2.11）库可以使用。

按如下所述创建胶水作业：

https://docs.aws.amazon.com/glue/latest/dg/add-job.html

,

如果在一天结束时您需要将您的密钥上传到AWS以解密此JSON，则您的系统将不再安全。将它保存到数据库中时，最好不要对该JSON进行加密，而是将其配置为由客户管理的KMS密钥加密。

通过这种方式执行操作，您将获得更多功能，因为您可以记录KMS密钥使用情况以及限制哪些服务有权访问以解密数据。如果您将机密文件保存在jar文件中，则无论在何处读取此数据，都将需要有此jar文件，并且最终将在没有KMS提供的安全控制或审核的情况下将此机密文件分发到不同的位置。