如何将大量数据50 TB从本地 SAP Hana 迁移到 GCP

问题描述

上下文：

数据仓库是使用 SAP BW On HANA 构建的。它已经运行了一段时间。它有超过 50TB 的数据。作为一项战略决策，必须将 GCP 上的数据迁移到 BigQuery（一次性活动）。

问题：

导出如此庞大的数据的最佳非侵入方式是什么，将其采用为 BigQuery 格式。 上传不是问题，因为它可以通过专用的云互连上传。

解决方法

根据 Google 最佳实践，您应该使用 Transfer Appliance 传输数据。

但如果您想尝试专用的云互连，您可以尝试一下。 传输数据：您可以尝试以下选项：-

1. 通过文件从 HANA 数据库导出数据。
2. 通过您想要的渠道将文件传输到云存储。
3. 在 GCS 上获得数据后，您可以通过多个选项（从 GCS 导出数据、创建数据流作业和将数据上传到 BQ 的脚本）将数据上传到 Bigquery