Terraform Composer 的值airflow_config_override secrets-backend_kwargs

问题描述

我需要使用 terraform 更改 Composer 环境中的默认 project_id，以便我可以从另一个项目访问机密。为此，根据 terraform，我需要变量 airflow_config_overrides。我想我应该有这样的东西：

resource "google_composer_environment" "test" {
  # ...

  config {
    software_config {
      airflow_config_overrides = {
        secrets-backend = "airflow.providers.google.cloud.secrets.secret_manager.CloudSecretManagerBackend",secrets-backend_kwargs = {"project_id":"9999999999999"}
      }
    }
  }
}

secrets-backend section-key 似乎有效。另一方面，secrets-backend_kwargs 返回以下错误：

Inappropriate value for attribute "airflow_config_overrides": element "secrets-backend_kwargs": string required

问题似乎是 GCP 需要 JSON 格式，而 terraform 需要字符串。我怎样才能让 terraform 以所需的格式提供它？

解决方法

您可以使用 jsonencode function 将 {"project_id":"9999999999999"} 等地图转换为 JSON 编码的字符串。

因此，将 google_composer_environment resource documentation 中给出的示例与问题中的配置合并，您可以执行以下操作：

resource "google_composer_environment" "test" {
  name   = "mycomposer"
  region = "us-central1"

  config {
    software_config {
      airflow_config_overrides = {
        secrets-backend = "airflow.providers.google.cloud.secrets.secret_manager.CloudSecretManagerBackend",secrets-backend_kwargs = jsonencode({"project_id":"9999999999999"})
      }

      pypi_packages = {
        numpy = ""
        scipy = "==1.1.0"
      }

      env_variables = {
        FOO = "bar"
      }
    }
  }
}