在 Hive 中,这种模式如何从 json 数组中识别嵌套的 json?

问题描述

我正在阅读这个问题:Parse JSON Array and load into hive table

嵌套的 json 包含多个 }{,但正则表达式模式 (?<=\\}),(?=\\{) 可以识别 json 元素。谁能解释一下这个分割函数是如何工作的?

select 
split(substr('[{"a":{"c":"sss"},"w":123},{"b":2},{"r":{"c":"sss"},"w":555}]',2),'(?<=\\}),(?=\\{)')[0],split(substr('[{"a":{"c":"sss"},(?=\\{)')[1],(?=\\{)')[2]

结果是:

{"a":{"c":"sss"},"w":123}   {"b":2}    {"r":{"c":"sss"},"w":555}]

顺便说一句,没有[的数组被发送到json_tuple,比如{"a":1},{"b":2}]。这根本不是一个 json 数组,为什么 json_tuple 可以使用它?

解决方法

REGEXP '(?<=\\}),(?=\\{)' 只在 } 和 { 之间匹配逗号,不包括大括号

(?<=\\}) 是一个零宽度的lookbehind,断言字符串中当前位置之前的是}

(?=\\{) 是一个零宽度正向前瞻断言,意味着它应该是 { 在当前位置之后

因此,split 函数使用 }{ 之间的逗号将字符串拆分为数组,不包括括号。这导致这些元素的数组:

元素 0 是 {"a":{"c":"sss"},"w":123}
元素 1 是 {"b":2}
元素 2 是 {"r":{"c":"sss"},"w":555}]

在提到的答案中,explode 应用于数组,它生成包含数组元素的行。

json_tuple 接收元素(数组已经爆炸),而不是数组。是的,它是最后一个元素中的额外 ],最好也将其删除,json_tuple 将元素识别为结构,而不是数组,因为没有 [