问题描述
我正在考虑将 CSV(s) 从远程服务器加载到 Big Query，即使压缩，它们也会大于 10MB。我的理解是，要将远程文件直接加载到 Big Query 中，这在技术上遵循在数据所在的远程服务器上的脚本中实现的“从本地文件加载数据”的过程。
根据大查询文档，这限制为 10MB/文件。我是否需要将文件加载到 GCS 中，然后使用 BQ 数据传输服务来完成这项任务？将巨大的 CSV 分解成一堆 10MB 的 CSV 是一个实用的选择吗？这需要可扩展。
解决方法
正确的方法是将文件上传到 Cloud Storage，然后从 GCS（不是传输服务）执行 load job。
加载作业功能强大。速度非常快，可以同时在同一张表中导入多个文件！
这绝对是可扩展的最佳方式。