问题描述
我正在开发一个管道,通过使用 Vertex AI 管道,在不同项目上使用私有 IP 对 GCP 云 sql 上驻留的数据执行数据转换。我无法在其中获取有关连接到 Cloud sql 的任何文档。 有没有人知道如何将带有私有 IP 的 Cloud sql 连接到 Vertex AI 管道?
解决方法
这也在 Cloud SQL Auth proxy 存储库中提出。在此处为后代添加答案:
我从未使用过 Vertex AI,但通过快速浏览文档,我发现支持 VPC network peering。
所以,粗略地(并且没有自己尝试过),步骤是:
- 在 Vertex AI 和托管私有 IP 实例的 VPC 之间配置 VPC 网络对等互连
- 假设您正在运行 custom container,您可以:
- 将代理作为后台进程启动并连接到它,
- 或者,如果您使用代理连接器支持的一种语言(即 Go、Java 和 Python),您可以使用该连接器直接拨号到您的数据库。
我使用 AI Platform 实现了类似的功能。相关帖子在这里: How can I grant AI Platform training jobs access to Cloud SQL resources in the same project?
- 在您的代码中使用 Google 提供的自定义 Cloud SQL connector。
- 创建具有适当权限的服务帐户,包括 Cloud SQL 客户端。服务 account here 下的权限要求。
- 使用 api 启动作业。上面链接帖子中的代码需要修改。使用顶点 AI 作业 create function 并将平台 AI 作业替换为顶点 AI customJob。