问题描述
我正在考虑在这里集思广益,不确定这是否会导致大量关机!
简化:我有一个系统可以读取 XML 文件并将其加载到数据库中。
XML 的架构如下:
Df1:
col1 col2
2 2
1 Nan
Nan 1
Df2:
col3 col4
Nan 1
1 Nan
Nan 1
Final_Df:
col1 col2
2 1
1 Nan
Nan 1
罪魁祸首字段具有以下架构摘录:
<?XML version="1.0" encoding="UTF-8"?>
架构符合 UTF-8,因此无论是单字节、双字节还是多字节,都应支持 2000 个 UTF-8 字符。
XML 模式已经进行了字符长度检查,如上面摘录中所定义。
问题是有时 XSD 验证成功,但数据库插入失败,当“标题”XML 字段中出现一些多字节 UTF-8 字符时,服务器崩溃并出现数据库错误。
<xsd:simpleType name="title">
.....
<xsd:restriction base="xsd:string">
<xsd:minLength value="1"/>
<xsd:maxLength value="2000"/>
</xsd:restriction>
当数据库插入操作失败时,ops需要手动减少XML字段的长度,重新处理XML文件来修复。
我一直在研究:
- 字节与字符长度检查
- 架构验证
- 等
解决方案是否可以进行与字符数匹配的字符串字节数检查?
我可以在 Java 中执行 string.getBytes("UTF-8").length,但这如何匹配 XSD 中的 The database 'title' column is defined as `varchar(2000)`
和 <xsd:maxLength value="2000"/>
?
您有什么建议可以确保标题字段的 XML 数据不超过 XSD 中定义的指定长度。并且只要符合XSD,XML数据就成功插入到DB中?
我是否正确假设 XSD 中的 varchar(2000)
与 <xsd:maxLength value="2000"/>
列定义匹配?
解决方法
架构符合 UTF-8
不完全是,但我想我知道你的意思。您引用的 XML 声明没有指定与此模式匹配的 XML 实例文档的任何内容。这只是说 XSD 本身(即带有根标记
XML Schema 从不关心 XML 文档的原始字节。正在验证的是 XML 信息集。因此,简单类型的 maxLength 方面表示该字段中最多可以有 2000 个字符。正如您正确指出的那样,以字节为单位的实际长度很容易超过 2000 个字符,但 XML 处理器不会知道或关心。
有时XSD验证成功,但数据库插入失败
我同意 lunatikz - 最可能的解释是数据库配置不正确。
解决方案是否可以进行与字符数匹配的字符串字节数检查?
不,那将解决错误的问题。问题可能出在数据库中,而不是出在您的 Java 代码中。
您有什么建议可以确保标题字段的 XML 数据不超过 XSD 中定义的指定长度。
我认为您不需要做任何事情来确保这一点。您的 XML 验证器已经在为您进行检查,而且它可能工作得很好。
那么只要符合XSD,XML数据就成功插入到DB中?
配置数据库或其表/列定义,使其停止尝试使用单字节字符编码解释输入。
我是否正确假设 XSD 中的
是的,两者都指定了最多 2000 个字符的字段。但是数据库以与 XML 处理器不同的方式解释“字符”一词。