如何根据csv的形状更改配置单元表架构

问题描述

如何根据 CSV 的形状更改 hive 表架构

Hive [部署在 Azure HDInsight]
数据文件 CSV [在 Azure Blob 存储中]

我的要求::

例如。 我有 3 列 A B C 的 CSV
和另一个带有 3 列 A B D 的 CSV
有没有办法根据 CSV 形状创建 Hive 表？

我尝试了什么：

我在 hive 中用 A B C D 创建了一个表
并加载文件1(A B C)
预计为 A B C D - x x null x
文件2(A B D)
预计为 A B C D - x x x null

但是

file2(A B D)
实际结果g++ -v Using built-in specs. COLLECT_GCC=g++ COLLECT_LTO_WRAPPER=/usr/lib/gcc/x86_64-linux-gnu/9/lto-wrapper OFFLOAD_TARGET_NAMES=nvptx-none:hsa OFFLOAD_TARGET_DEFAULT=1 Target: x86_64-linux-gnu Configured with: ../src/configure -v --with-pkgversion='Ubuntu 9.3.0-10ubuntu2' --with-bugurl=file:///usr/share/doc/gcc-9/README.Bugs --enable-languages=c,ada,c++,go,brig,d,fortran,objc,obj-c++,gm2 --prefix=/usr --with-gcc-major-version-only --program-suffix=-9 --program-prefix=x86_64-linux-gnu- --enable-shared --enable-linker-build-id --libexecdir=/usr/lib --without-included-gettext --enable-threads=posix --libdir=/usr/lib --enable-nls --enable-clocale=gnu --enable-libstdcxx-debug --enable-libstdcxx-time=yes --with-default-libstdcxx-abi=new --enable-gnu-unique-object --disable-vtable-verify --enable-plugin --enable-default-pie --with-system-zlib --with-target-system-zlib=auto --enable-objc-gc=auto --enable-multiarch --disable-werror --with-arch-32=i686 --with-abi=m64 --with-multilib-list=m32,m64,mx32 --enable-multilib --with-tune=generic --enable-offload-targets=nvptx-none,hsa --without-cuda-driver --enable-checking=release --build=x86_64-linux-gnu --host=x86_64-linux-gnu --target=x86_64-linux-gnu Thread model: posix gcc version 9.3.0 (Ubuntu 9.3.0-10ubuntu2)

衷心感谢任何建议。

先谢谢你

解决方法

不，在单表中这是不可能的，可以通过以下方式解决：

1 两张表 + 视图 创建两个表：T1 (A,B,C) 和 T2 (A,D) 并查看

select A,C,null as D 
  from table1
UNION ALL
select A,null as C,D
  from table2

2 创建包含 A、B、C 列的单表和基于 file_name 逻辑的视图（伪代码，检查 INPUT__FILE__NAME 真正返回的内容并相应地修复）

select A,case when INPUT__FILE__NAME == 'file1' then C else null  end  as C,case when INPUT__FILE__NAME == 'file2' then C else null  end  as D

但此视图在其他工具（如 Presto）中不起作用，因此，第一个选项更好。