在 Java 中加载 UTF-8 编码的 XML 数据时出现数据库错误

问题描述

我正在考虑在这里集思广益,不确定这是否会导致大量关机!

简化:我有一个系统可以读取 XML 文件并将其加载到数据库中。

XML 的架构如下:

Df1: 

col1  col2   
2     2      
1     Nan    
Nan   1         

Df2:

col3  col4   
Nan   1      
1     Nan    
Nan   1         


Final_Df:

col1  col2   
2     1      
1     Nan    
Nan   1   

罪魁祸首字段具有以下架构摘录:

<?XML version="1.0" encoding="UTF-8"?>

架构符合 UTF-8,因此无论是单字节、双字节还是多字节,都应支持 2000 个 UTF-8 字符。

XML 模式已经进行了字符长度检查,如上面摘录中所定义。

问题是有时 XSD 验证成功,但数据库插入失败,当“标题”XML 字段中出现一些多字节 UTF-8 字符时,服务器崩溃并出现数据库错误

<xsd:simpleType name="title">
.....
<xsd:restriction base="xsd:string">
 <xsd:minLength value="1"/>
 <xsd:maxLength value="2000"/>
</xsd:restriction>

数据库插入操作失败时,ops需要手动减少XML字段的长度,重新处理XML文件来修复。

我一直在研究:

  • 字节与字符长度检查
  • 架构验证

解决方案是否可以进行与字符数匹配的字符串字节数检查?

我可以在 Java 中执行 string.getBytes("UTF-8").length,但这如何匹配 XSD 中的 The database 'title' column is defined as `varchar(2000)` <xsd:maxLength value="2000"/>

您有什么建议可以确保标题字段的 XML 数据不超过 XSD 中定义的指定长度。并且只要符合XSD,XML数据就成功插入到DB中?

我是否正确假设 XSD 中的 varchar(2000)<xsd:maxLength value="2000"/> 列定义匹配?

解决方法

架构符合 UTF-8

不完全是,但我想我知道你的意思。您引用的 XML 声明没有指定与此模式匹配的 XML 实例文档的任何内容。这只是说 XSD 本身(即带有根标记 的 XML 文档)使用 UTF-8 作为其字符编码。

XML Schema 从不关心 XML 文档的原始字节。正在验证的是 XML 信息集。因此,简单类型的 maxLength 方面表示该字段中最多可以有 2000 个字符。正如您正确指出的那样,以字节为单位的实际长度很容易超过 2000 个字符,但 XML 处理器不会知道或关心。

有时XSD验证成功,但数据库插入失败

我同意 lunatikz - 最可能的解释是数据库配置不正确。

解决方案是否可以进行与字符数匹配的字符串字节数检查?

不,那将解决错误的问题。问题可能出在数据库中,而不是出在您的 Java 代码中。

您有什么建议可以确保标题字段的 XML 数据不超过 XSD 中定义的指定长度。

我认为您不需要做任何事情来确保这一点。您的 XML 验证器已经在为您进行检查,而且它可能工作得很好。

那么只要符合XSD,XML数据就成功插入到DB中?

配置数据库或其表/列定义,使其停止尝试使用单字节字符编码解释输入。

我是否正确假设 XSD 中的 与 varchar(2000) 列定义匹配?

是的,两者都指定了最多 2000 个字符的字段。但是数据库以与 XML 处理器不同的方式解释“字符”一词。

相关问答

Selenium Web驱动程序和Java。元素在(x,y)点处不可单击。其...
Python-如何使用点“。” 访问字典成员?
Java 字符串是不可变的。到底是什么意思?
Java中的“ final”关键字如何工作?(我仍然可以修改对象。...
“loop:”在Java代码中。这是什么,为什么要编译?
java.lang.ClassNotFoundException:sun.jdbc.odbc.JdbcOdbc...