问题描述
试图做一些数据工程的科学家没有深度。
我目前正在尝试将生成本地 csv 文件的手动执行的本地 python 脚本转换为 Cloud Composer 计划的 API 调用，从而将数据存储到谷歌云存储并合并到 bigquery 表中。
如果我的 cloud composer google 帐户触发了所有这些步骤：google search console API（当前凭据使用 searchconsole 库进行序列化，我有 .json 和 .dat 文件）、云存储和 bigquery，我是否能够避免身份验证步骤，因为整个事情都由同一个谷歌帐户控制？
或者我是否仍然需要以网站管理员和 bigquery 身份验证和列出范围
解决方法
您需要使用服务帐户设置身份验证。当您运行 Cloud Composer 时，它使用服务帐户（您在创建 Cloud Composer 实例时选择该帐户）。您的所有工作负载都使用此服务帐户运行，为了访问不同的 GCP 服务，您需要确保该服务帐户对这些服务具有适当的访问权限。如果需要并且您正确设置，它甚至可以模拟用户帐户。
可在此处找到所有详细信息和分步说明：https://cloud.google.com/composer/docs/how-to/authentication