问题描述
我们正在使用Hadoop 2.7.7，spark 2.4.4和hive版本2.3.3。 Hive已配置为在引擎启动时发火花，展开模式为yarn; cluster。
配置单元CLI部署在单独的网段中，从该网段中我们可以限制（特定于端口）对YARN的访问。
我们注意到，在配置单元中提交查询时，生成的spark-submit在后台具有以下参数： - 远程主机 -远程端口 等
正在将主机名（--remote-host）与hive服务器的主机名相加，并随机生成端口（--remote-port）。
我们想控制配置单元外壳程序生成的端口号（以便可以相应地更改防火墙规则）。
任何想法都值得赞赏。
以下是为hive CLI生成的请求示例。
spark-submit --executor-cores 1 --executor-memory 2g --num-executors 5 --properties-file /tmp/spark-submit.896469203730481515807.properties --class org.apache.hive.spark。 client.RemoteDriver /usr/local/apache-hive-2.3.3-bin/lib/hive-exec-2.3.3.jar -远程主机hiveserver-hostname --remote-port 46342 --conf hive.spark.client.connect.timeout = 30000 --conf hive.spark.client.server.connect.timeout = 60000 --conf hive.spark.client.channel.log.level = null --conf hive .spark.client.rpc.max.size = 1262485504 --conf hive.spark.client.rpc.threads = 8 --conf hive.spark.client.secret.bits = 256 --conf hive.spark.client.rpc .server.address = null
Srini。
解决方法
暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！
如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。
小编邮箱:dio#foxmail.com (将#修改为@）