问题描述
我有一些必须加载到 Hive 外部表中的 JSON 数据（大约 60GB）。我将 Hive 3.x 与 Hadoop 3.x 一起使用。表的架构如下：
CREATE TABLE people(a string,liid string,link string,n string,t string,e string)
ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.JsonSerDe'
STORED AS TEXTFILE LOCATION '/data/db/';
我还为 serde 加载了 jar，如下所示：
ADD JAR /usr/hive/lib/hive-hcatalog-core-3.1.2.jar;
如果我复制一个简单的文本 json（或加载），那么 DML 查询（选择等）工作正常。由于数据文件非常大，因此我对其进行了压缩（现在为 20GB）。我已将此压缩文件加载到 Hive 表（上面创建）中。
hive> select * from people;
OK
Failed with exception java.io.IOException:org.apache.hadoop.hive.serde2.SerDeException: java.io.IOException: Field name expected
Time taken: 0.096 seconds
hive>
它对未压缩的数据工作正常。这有什么问题？
解决方法
我自己找到了解决方案。实际问题是json中有两列是数组。它们应该映射到配置单元中的 ARRAY。我为模式采取的样本不包含这些数组。因此，通过将一列的字段类型更改为 yaxis: [
{
plot: "Sales Value",title: "Sale Value",format: {
prefix: "$"
}
}
]
解决了我的问题。