是否可以连接到 GCP Vertex AI 管道中 Cloud SQL 实例的私有 IP?

问题描述

我正在开发一个管道,通过使用 Vertex AI 管道,在不同项目上使用私有 IP 对 GCP 云 sql 上驻留的数据执行数据转换。我无法在其中获取有关连接到 Cloud sql 的任何文档。 有没有人知道如何将带有私有 IP 的 Cloud sql 连接到 Vertex AI 管道?

解决方法

这也在 Cloud SQL Auth proxy 存储库中提出。在此处为后代添加答案:

我从未使用过 Vertex AI,但通过快速浏览文档,我发现支持 VPC network peering

所以,粗略地(并且没有自己尝试过),步骤是:

  1. 在 Vertex AI 和托管私有 IP 实例的 VPC 之间配置 VPC 网络对等互连
  2. 假设您正在运行 custom container,您可以:
  • 将代理作为后台进程启动并连接到它,
  • 或者,如果您使用代理连接器支持的一种语言(即 Go、Java 和 Python),您可以使用该连接器直接拨号到您的数据库。
,

我使用 AI Platform 实现了类似的功能。相关帖子在这里: How can I grant AI Platform training jobs access to Cloud SQL resources in the same project?

  1. 在您的代码中使用 Google 提供的自定义 Cloud SQL connector
  2. 创建具有适当权限的服务帐户,包括 Cloud SQL 客户端。服务 account here 下的权限要求。
  3. 使用 api 启动作业。上面链接帖子中的代码需要修改。使用顶点 AI 作业 create function 并将平台 AI 作业替换为顶点 AI customJob