运行pyspark时获取Java输出

编程问答 2022-05-27

问题描述

在 Ubuntu 上的 Jupyter Notebook 中运行 PySpark 时，有时会遇到 Java 失败的问题。我想要的是从 Java 端看到错误，因为我能看到的通常是 Python 的很长的一般错误，可以用这个总结：

ERROR:root:Exception while sending command.
Traceback (most recent call last):
  File "/opt/conda/lib/python3.6/site-packages/py4j/java_gateway.py",line 1207,in send_command
    raise Py4JNetworkError("Answer from Java side is empty")
py4j.protocol.Py4JNetworkError: Answer from Java side is empty

这个错误可能意味着很多事情，它根本没有帮助。通常这意味着 Java 崩溃了，但我想知道究竟是为什么。

我需要这些日志的例子是，例如，我尝试在 DGX-1 机器上的 PySpark 上运行 Rapids，它在初始化 Spark 上下文时以类似 abo 的 Java 崩溃告终。这不是这些错误的唯一原因，但这段代码很容易在我这边引起这些错误。

import pyspark
import os
cudf = "cudf-0.17-cuda10-1.jar"
rapids = "rapids-4-spark_2.12-0.2.0.jar"
script = "getGpuResources.sh"
separator = ","
conf = pyspark.SparkConf()
conf.set("spark.jars",cudf + "," + rapids)
conf.set("spark.plugins","com.nvidia.spark.sqlPlugin")
conf.set("spark.driver.memory","48g")
conf.set("spark.executor.memory","48g")
conf.set("spark.driver.cores","80")
conf.set("spark.executor.cores","80")
conf.set("spark.task.cpus","80")
conf.set("spark.dynamicAllocation.enabled","false")
conf.set("spark.rapids.sql.concurrentGpuTasks","8")
conf.set("spark.dynamicAllocation.enabled","false")
conf.set("spark.sql.extensions","ai.rapids.spark.Plugin")
conf.set("spark.driver.resource.gpu.amount","8")
conf.set("spark.driver.resource.gpu.discoveryScript",script)
conf.set("spark.executor.resource.gpu.amount","8")
conf.set("spark.executor.resource.gpu.discoveryScript",script)
conf.set("spark.task.resource.gpu.amount","8")
sc = pyspark.SparkContext(appName="rapids",conf = conf)

我的问题：有没有办法以某种方式捕获 PySpark 运行的 Java 进程的标准输出（使用 pyspark/jupyter/Ubuntu）以了解 Java 崩溃的真正原因？

解决方法

所以这将取决于您的跑步方式。您是刚刚启动 pyspark 本地模式还是针对集群（纱线、独立等）运行？

如果您只是指向 jupyter 并运行“pyspark” - 它在本地模式下运行的火花。通常，您可以从启动 pyspark 的终端看到日志输出。默认的日志模式只有警告。您可以使用以下命令在 jupyter notebook 中进行更改：

sc.setLogLevel("INFO")

但无论哪种方式，您都应该看到错误出现。

如果您在本地模式下运行，则应按照此处的 Rapids 插件说明进行操作：https://nvidia.github.io/spark-rapids/docs/get-started/getting-started-on-prem.html#local-mode

特别是本地模式下的 Spark 不支持 gpu 调度，因此您应该删除所有这些配置。

我建议您在启动时在命令行上指定选项。 我使用 jupyter 在本地模式下使用 pyspark 运行了一个快速测试：

pyspark --master local[4] --jars cudf-0.18-SNAPSHOT-cuda10-1.jar,rapids-4-spark_2.12-0.4.0-SNAPSHOT.jar --conf spark.driver.extraJavaOptions= -Duser.timezone=GMT --conf spark.sql.session.timeZone=UTC --conf spark.executor.extraJavaOptions=-Duser.timezone=GMT --conf spark.plugins=com.nvidia.spark.SQLPlugin --conf --conf spark.rapids.sql.explain="NOT_ON_GPU"

通常，即使是针对纱线和独立模式部署，我也希望您的驱动程序日志会出现在您启动 pyspark 的位置，除非您在集群模式下运行，否则将在集群上运行的执行程序日志可能会在其他地方。

另请注意，此配置对 spark-rapids 插件无效： conf.set("spark.executor.resource.gpu.amount","8") conf.set("spark.task.resource.gpu.amount","8") 该插件仅支持每个执行器 1 个 GPU。

您也不需要任何 gpu 驱动程序： conf.set("spark.driver.resource.gpu.amount","8") 但如果你愿意也可以。

如果您有其他问题，请随时在 spark-rapids 存储库中提出问题。

javajavajupyter-notebookpysparkpysparkrapids