问题描述
我正在尝试在具有40个工作节点和单个主节点的EMR集群上运行Hive INSERT OVERWRITE查询。
但是，当我运行INSERT OVERWRITE查询时，Stage-1 map = 100%,reduce = 100%,Cumulative CPU 180529.86 sec
在这种状态下，我得到以下错误：
Ended Job = job_1599289114675_0001 with errors
Diagnostic Messages for this Task:
Container [pid=9944,containerID=container_1599289114675_0001_01_041995] is running beyond physical memory limits. Current usage: 1.5 GB of 1.5 GB physical memory used; 3.2 GB of 7.5 GB virtual memory used. Killing container.
Dump of the process-tree for container_1599289114675_0001_01_041995 :
我不确定如何更改1.5 GB的物理内存号。在我的配置中，我看不到这样的数字，也不知道如何计算1.5 GB的数字。
我什至尝试按照某些论坛的建议将"yarn.nodemanager.vmem-pmem-ratio":"5"更改为5。但是无论此更改如何，我仍然会收到错误消息。
这是工作开始的方式：
Number of reduce tasks not specified. Estimated from input data size: 942
Hadoop job information for Stage-1: number of mappers: 910; number of reducers: 942
这就是我的configuration file在集群中的样子。我无法理解必须更改哪些设置才不会遇到此问题。也可能是由于 Tez 设置引起的吗？尽管我没有将它用作引擎。
任何建议将不胜感激，谢谢。
解决方法
暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！
如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。
小编邮箱:dio#foxmail.com (将#修改为@）