问题描述
我在 GCP 中的 Dataproc 上运行 Apache Spark，并通过 sparklyr 连接它。在我的配置中，我在启用自动缩放的情况下运行。因此，一旦创建了 sc，它就会在 YARN 中显示为一个应用程序，我可以使用 YARN 界面监控容量。
当我执行 sparklyr 代码时，在我的 Dataproc 界面中，它还指示称为 YARN 挂起内存的内容。我的问题是，如果我在 YARN 中将 sparklyr 作为单个应用程序运行，这个 YARN 待处理内存意味着什么。
解决方法
暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！
如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。
小编邮箱:dio#foxmail.com (将#修改为@）