神秘错误：编码“UTF8”的字节序列无效

问题描述

@H_404_0@我一直在寻找原因

@H_404_0@用于编码“UTF8”的无效字节序列。

@H_404_0@它是一个使用 libpq 的 C 程序。我正在使用 PQexecParams 执行 sql 查询。

@H_404_0@有问题的字节序列是完全随机的，有时命令甚至可以正常运行。我想我一定在某处有内存分配问题，但即使我将所有参数指定为静态字符串，我仍然收到带有随机字节序列的错误。 更重要的是，当我创建一个小测试程序时，具有相同参数的相同查询运行正常。它甚至可以从应用程序的其他地方正常运行。 所以我完全被困住了。我验证了错误的所有可能来源，如 client_encoding 等，但找不到错误的来源。 让我感到困惑的是，即使查询参数没有改变，违规的字节序列也是随机的。 此外，当我检查 postgres 日志时，查询及其参数似乎是正确的。

@H_404_0@我正在尝试更新下表中的记录：

CREATE TABLE public.contacts
(
    contactid integer NOT NULL DEFAULT nextval('contacts_contactid_seq'::regclass),paperid integer,pos character varying(50) COLLATE pg_catalog."default",title character varying(10) COLLATE pg_catalog."default",firstname character varying(20) COLLATE pg_catalog."default",lastname character varying(25) COLLATE pg_catalog."default",func character varying(25) COLLATE pg_catalog."default",tel1 text COLLATE pg_catalog."default",tel2 text COLLATE pg_catalog."default",fax1 text COLLATE pg_catalog."default",fax2 text COLLATE pg_catalog."default",email1 character varying(50) COLLATE pg_catalog."default",email2 character varying(50) COLLATE pg_catalog."default",maincontact boolean DEFAULT false,publdatacontact boolean DEFAULT false,invcontact boolean DEFAULT false,queries_recipient boolean,contact_log text COLLATE pg_catalog."default",salesforceid character(18) COLLATE pg_catalog."default",fakelastname boolean NOT NULL DEFAULT false,CONSTRAINT contacts_pk PRIMARY KEY (contactid),CONSTRAINT contacts_paperid_fkey FOREIGN KEY (paperid)
        REFERENCES public.papers (paperid) MATCH SIMPLE
        ON UPDATE CASCADE
        ON DELETE CASCADE
);

@H_404_0@这是一个实际的代码：

    const char* pparams[16] = {
NULL,NULL,"1702","14340"
    };



gchar *query="UPDATE contacts SET Pos=$1::varchar,Title=$2::varchar,PaperID=$3::int,FirstName=$4::varchar,LastName=$5::varchar,Func=$6::varchar,Tel1=$7::text,Fax1=$8::text,Email1=$9::varchar,Tel2=$10::text,Fax2=$11::text,Email2=$12::varchar,MainContact=$13::boolean,PublDataContact=$14::boolean,InvContact=$15::boolean WHERE ContactID=$16::int";

      result = PQexecParams(conn,query,16,pparams,ssizes,bbinary,0);

@H_404_0@摘自 Postgres 日志：

Jan 26 08:40:57 ip-172-16-10-94 postgres[11334]: [113-1] 2021-01-26 09:40:57.505 CET [11334] jira@project-syndicate LOG:  execute <unnamed>: 

    UPDATE contacts SET Pos = $1::varchar,Title = $2::varchar,PaperID = $3::int,FirstName = $4::varchar,LastName = $5::varchar,Func = $6::varchar,Tel1 = $7::text,Fax1 = $8::text,Email1 = $9::varchar,Tel2 = $10::text,Fax2 = $11::text,Email2 = $12::varchar,MainContact = $13::boolean,PublDataContact = $14::boolean,InvContact = $15::boolean WHERE ContactID = $16::int
    Jan 26 08:40:57 ip-172-16-10-94 postgres[11334]: [113-2] 2021-01-26 09:40:57.505 CET [11334] jira@project-syndicate DETAIL:  parameters: $1 = NULL,$2 = NULL,$3 = '1702',$4 = NULL,$5 = NULL,$6 = NULL,$7 = NULL,$8 = NULL,$9 = NULL,$10 = NULL,$11 = NULL,$12 = NULL,$13 = NULL,$14 =  NULL,$15 = NULL,$16 = '14340'
    Jan 26 08:40:57 ip-172-16-10-94 postgres[11334]: [114-1] 2021-01-26 09:40:57.544 CET [11334] jira@project-syndicate ERROR:  invalid byte sequence for encoding "UTF8": 0x80

@H_404_0@关于可能导致错误的原因有什么想法吗？

解决方法

首先，您使用的是 postgres，当您在 postgres 中创建类型为 character varying 的表时，您不必指定 length。这就是 varying 代表的意思。它将消耗尽可能多的字节

很可能您放入数据库的字符串是以这种方式编码的，例如。双字节字符，因此当您尝试将 26 字节字符串插入 25 长度字符列时，最后一个字节无效 utf8

所以我建议你重新创建你的表格，忽略 lengths 列上的所有 character varying，然后再试一次。

然后检查您的系统区域设置和数据库的区域设置，我建议您使用 template0 创建您的数据库并根据您的语言从系统本地添加一个可用的。UTF-8

然后使用 file

检查您的代码文件编码是否为 utf8

如果没有任何效果，请告诉我

我已经使用您发布的 create table 对其进行了测试，但没有使用外键和以下代码

int main() {
    const char conninfo[] = "postgresql://postgres@localhost?port=5432&dbname=libpq_demo";
    PGconn *conn = PQconnectdb(conninfo);
    if (PQstatus(conn) != CONNECTION_OK) {
        printf("Connection to database failed: %s",PQerrorMessage(conn));
        PQfinish(conn);
        return 1;
    }
    else {
        printf("%s","Connection to database succeed.\n");
    }

    const char* pparams[16] = {
        NULL,NULL,"1702","14340"
    };

    int ssizes[16] = {
        sizeof(NULL),sizeof(NULL),4,5
    };

    int bbinary[16]= {
        1,1,0
    };

    gchar *query="UPDATE contacts SET Pos=$1::varchar,Title=$2::varchar,PaperID=$3::int,FirstName=$4::varchar,LastName=$5::varchar,Func=$6::varchar,Tel1=$7::text,Fax1=$8::text,Email1=$9::varchar,Tel2=$10::text,Fax2=$11::text,Email2=$12::varchar,MainContact=$13::boolean,PublDataContact=$14::boolean,InvContact=$15::boolean WHERE ContactID=$16::int";

    PQexecParams(conn,query,16,pparams,ssizes,bbinary,0);
}

并用

编译它

gcc foo.cc -o foo-demo -I/usr/include/postgresql -I/usr/include/glib-2.0 -lpq

除了关于 gchar 的警告之外，我不确定你为什么使用它，但无论如何，一切都很完美。我已经测试了大约 10K 次

你应该考虑看看

CONSTRAINT contacts_paperid_fkey FOREIGN KEY (paperid)
REFERENCES public.papers (paperid) MATCH SIMPLE

也许它与代码无关，但事实上你在那里传递了一个冲突的值

,

问题是我的失明。该错误不是由问题中的查询引起的，而是由其后立即运行的查询引起的。