如何在阈值上从 BigQuery 向用户组触发电子邮件通知？

问题描述

我在 GCP BigQuery 中编写了以下查询，当数量列的阈值超过 1000 时，我使用错误函数弹出错误消息。

SELECT ERROR(CONCAT("Over threshold: ",CAST(quantity AS STRING)))
FROM `proj.dataset.table` 
WHERE quantity > 1000

当我在 BigQuery 中安排了此查询时，我收到了电子邮件通知。但我想通过 BigQuery 向用户组触发该通知。

如何实现这一目标？

解决方法

您可以使用 Cloud Workflows 无服务器产品和提供 REST Api 的外部电子邮件发送提供商（例如 Sendgrid、Mailchimp、Mailgun）来实现这一点以及更多。

您基本上设置了一个工作流程来为您处理这些步骤：

• 运行 BigQuery 查询
• 出错时触发电子邮件步骤
• 你甚至可以合并，如果返回的结果是 kind 执行另一个步骤

主要工作流程如下：

#workflow entrypoint
main:
  steps:
    - getList:
        try:
          call: BQ_Query
          args:
            query: SELECT ERROR('demo') from (select 1) where 1>0
          result: result
        except:
          as: e
          steps:
            - sendEmail:
                call: sendGridSend
                args:
                  secret: sendgrid_email_dev_apikey
                  from: [e-mail]
                  to: 
                     - email: [e-mail]
                     - email: [e-mail] 
                  subject: "This is a test"
                  content: ${"Error message from BigQuery" + e.body.error.message}
                  contentType: "text/plain"
                result: callResult
    - final:
        return: ${callResult}

sendgrid_email_dev_apikey 是秘密标签，我使用 Secret Manager 来存储 Sendgrid 的 API 密钥。如果您想使用 MailChimp，this Github repo 中有示例。

工作流调用程序可以是 Cloud Scheduler 条目。因此，您不是从 BigQuery 界面启动预定查询，而是在预定工作流中设置它们。您必须授予调用者 service account 读取 Secrets 和运行 BigQuery 作业的权限。

工作流程的其余部分在这里：

BQ_Query:
  params: [query]
  steps:
    - runBQquery:
        call: googleapis.bigquery.v2.jobs.query
        args:
          projectId: ${sys.get_env("GOOGLE_CLOUD_PROJECT_ID")}
          body:
            useLegacySql: false
            query: ${query}
        result: queryResult
    - documentFound:
        return: ${queryResult}
sendGridSend:
  params: [secret,from,to,subject,content,contentType]
  steps:
    - getSecret:
        call: http.get
        args:
          url: ${"https://secretmanager.googleapis.com/v1/projects/" + sys.get_env("GOOGLE_CLOUD_PROJECT_NUMBER") + "/secrets/" + secret + "/versions/latest:access"}
          auth:
            type: OAuth2
        result: sendGridKey
    - decodeSecrets:
        assign:
          - decodedKey: ${text.decode(base64.decode(sendGridKey.body.payload.data))}
    - sendMessage:
        call: http.post
        args:
          url: https://api.sendgrid.com/v3/mail/send
          headers:
            Content-Type: "application/json"
            Authorization: ${"Bearer " + decodedKey }
          body:
            personalizations:
              - to: ${to}
            from:
              email: ${from}
            subject: ${subject}
            content:
              - type: ${contentType}
                value: ${content}
        result: sendGridResult
    - returnValue:
        return: ${sendGridResult}

,

既然您收到了邮件通知，我猜您正在使用 BigQuery 数据传输服务。

根据this paragraph，只有设置转移的人会收到邮件通知。但是，如果您使用 Gmail，则可以自动将这些邮件转发给用户列表。

This link 应该会引导您完成它。