Postgres 错误为小于 1GB 的二进制文件放大字符串缓冲区

编程问答 2022-05-25

问题描述

我正在运行一个 python 脚本来将二进制文件内容上传到 postgres 表。但是，在处理 0.812932GB 或 793 MB 的文件时，该进程退出并出现以下错误：

psycopg2.errors.ProgramLimitExceeded: out of memory
DETAIL:  Cannot enlarge string buffer containing 0 bytes by 1664884015 more bytes.

这似乎比二进制文件的文件大小分配的要多得多。这是为什么？

违规代码：

        with open(file_to_store["fqpn"],"rb") as binary:
            cursor.execute(
                sql.sql(
                    "INSERT INTO {}.{} (filesystem_dir,filename,"
                    "file_bin) VALUES (%s,%s,%s)"
                ).format(
                    sql.Identifier(self.table_schema),sql.Identifier(self.table_name),),(
                    file_to_store["directory"],file_to_store["filename"],binary.read(),)
            con.commit()
        con.close()

其中 file_to_store["fqpn"] 是 793MB 文件的完全限定路径。

那么问题是，为什么会为比文件需要更多的内存分配缓冲区，我该如何解决？

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）

postgresql-9.4psycopg2