问题描述
几乎不需要帮助就可以为我的以下用例找到更好的解决方案。
我有包含输入数据的 S3 存储桶，它使用 KMS KEY 1
加密所以我可以使用 "spark.hadoop.fs.s3.serverSideEncryption.kms.keyId"
并且能够读取数据，
现在我想将数据写入另一个 S3 存储桶，但它使用 KMS KEY 2*
加密所以我目前正在做的是，使用 Key1 创建火花会话并读取数据帧并将其转换为 Pandas 数据帧并终止火花会话并使用 KMS KEY2 在同一 AWS 胶水作业中重新创建火花会话并转换在上一步中创建的 Pandas 数据用于触发数据帧并写入输出 S3 存储桶。
但这种方法有时会导致数据类型问题。有没有更好的替代解决方案来处理这个用例？
提前致谢，非常感谢您的帮助。
解决方法
您不需要声明使用什么密钥来解密用 S3-KMS 加密的数据；要使用的 keyID 作为属性附加到文件中。 AWS S3 读取加密设置，查看密钥 ID，将 KMS 加密的对称密钥发送到 AWS KMS，要求使用要求解密的用户/IAM 角色对其进行解密。如果用户/角色具有正确的权限，S3 会取回未加密的密钥，解密文件并返回。
要从使用 KMS-1 加密的存储桶中读取数据，您应该能够将密钥设置为 key2 值（或根本不加密），并且仍然可以取回数据
免责声明：我没有用 EMR s3 连接器测试过这个，只是用 apache S3A 连接器测试过这个，但由于 S3-KMS 在任何地方都一样，我希望这能成立。使用客户端提供的密钥 S3-CSE 进行加密是另一回事。您确实需要正确配置客户端，这就是 S3A 支持按存储桶配置的原因。