如何从 hive SQL 表描述生成 json 对象？

编程问答 2022-05-26

问题描述

我使用 describe formatted table_name 来获取表格的描述。我得到以下结果。我想以某种方式将其转换为 json。对此有什么好的方法吗？换句话说，我想将我的 sql 表描述作为 json。不像以下输出中所示的表格。

Output of desc formatted table_name

我想得到的输出应该是这样的：

{
    "columns" : {
        "id" : "int","name": "string"
    },"partition_@R_443_4045@ion": {
        "columns" : {
            "dt_temp" : "string"
        }
    },"Detailed table @R_443_4045@ion" : {
        "Database" : "d1","owner" : "root",.
        .
        .
        .
        .
        
    }
}

是否有任何函数或库可以为我执行此操作？现在，我正在使用 python 脚本手动执行此操作，但这非常困难且混乱。我不期望我提到的输出完全相同，我正在寻找一种方法来从一些 python 脚本中轻松且有意义地解析它。有什么建议吗？

解决方法

DESCRIBE EXTENDED 可以生成 JSON（检查它在 Hive 2.1.1 上工作正常）：

set hive.ddl.output.format=json;
desc extended table_name;

它产生这样的输出：

{"columns":[{"name":"id","type":"bigint","comment":"from deserializer"},{"name":"col1","type":"string",...
hivehiveddlhiveqljson