问题描述
我们在 Cloud Storage 中有使用自定义托管 HSM 密钥加密的交易数据，当用户提交作业时，dataproc 集群会旋转并处理存储在 Cloud Storage 中的数据的一些分析。 数据是每天分区的事务数据，并以镶木地板文件（每天一个文件）格式存储。一切都很好，但在幕后有大量调用 Decrypt 操作的调用。 我们已经将配额增加到每分钟 25 万次操作，但似乎我们只是达到了这个阈值。目前我们被迫减少我们可以处理的严重影响我们的 SLA 的并行作业的数量，并且由于我们达到了 KMS 请求的配额，其他处理产品如 BIG Query 其数据也被加密，无法执行其操作，导致请求失败。 .
我收到异常消息 --> “项目‘XXX’超出了指标 cloudkms.googleapis.com/hsm_symmetric_requests 的限制。”
查看日志时，我可以看到大量请求
request: {
@type: "type.googleapis.com/google.cloud.kms.v1.DecryptRequest"
name: <KeyPath>
}
来自云存储帐户“service-XXXX@gs-project-accounts.iam.gserviceaccount.com”
我可以理解存储帐户要求解密数据，但在我看来，单个作业每分钟 250K 的请求（我们当前的限制）可能操作最多 300 到 400 个文件太高了。
不知何故面临这种挑战？如何处理，因为我们计划使用大量并行作业，这意味着需要相当多的“hsm_symmetric_requests”请求配额。如果有人可以解释这种行为也很棒。
解决方法
暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！
如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。
小编邮箱:dio#foxmail.com (将#修改为@）