如何使用 sqoop 作业通过 Hive conf

问题描述

如何通过 Sqoop 导入作业传递 hive conf 参数。

SET hive.tez.container.size=4096 

我每次都使用来自 hive cli 的 hive conf。

解决方法

<command>[SQOOP-COMMAND]</command>
<arg>[SQOOP-ARGUMENT]</arg>
<file>lib/hive-site.xml</file>

,

在 sqoop 命令行中使用 -D hive.tez.container.size=4096 选项（您可以添加许多 -D 选项）：

sqoop import -Dhive.tez.container.size=4096 -Dsomething_else -Dmapreduce.map.java.opts=-Xmx4096m ... other parameters