将大文件上传到 AWS aurora postgres serverless

问题描述

我几天来一直在尝试将大型 CSV 文件复制到 Postgresql 中的表中,我正在使用 PGadmin4 访问数据库。我的系统上有一个文件,该文件为 10 GB,因此在尝试通过 UI 或 \copy 命令上传时出现启动错误

解决方法

在谈论 10 GB CSV 文件时,您也可以使用不同的选项

  • 我认为 \copy 应该有效,您没有提供有关该问题的更多信息

  • 我个人会使用 AWS Glue - 一种可以从 S3 文件中读取数据的 ETL 服务