导入sqoop时是否可以在目标目录中使用webhdfs？

编程问答 2022-07-08

问题描述

使用 sqoop 导入的数据必须发送到另一个集群。 目前使用sqoop导入数据，然后将数据文件distcp到另一个集群

但是，当使用 sqoop 导入时，我想通过将 webhdfs 路径提供给 target-dir 部分来将数据文件发送到另一个集群。

此代码不起作用吗？

sqoop import \
--connect jdbc:oracle:thin:@//${DBSERVER1}:${DBSERVER1_PORT}/${dbnAME} \
--username $DBUSER \
--password $DBPASSWORD \
--query "$sql_current" \
--hive-import \
--hive-database ${hdbname} \
--hive-table $newtname \
--hive-overwrite \
--hive-drop-import-delims \
**--target-dir "webhdfs://ip:port/user/hive/warehouse/${hdbname}.db/$newtname" \**
--as-parquetfile \
--m $m_cnt ${lob_condition};

文件是在运行sqoop的集群上创建的 即使我使用了 webhdfs

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）

hiveimportimportimportwebhdfs