如何检测您的代码是否在pyspark下运行

问题描述

对于暂存和生产，我的代码将在PySpark上运行。但是，在我的本地开发环境中，我不会在PySpark上运行代码。

从日志记录的角度来看，这是一个问题。由于使用PySpark时，人们会通过Py4J使用Java库Log4J，因此不会将Log4J用于本地开发。

值得庆幸的是，Log4J的API和核心的Python日志记录模块是相同的：一旦获得了记录器对象，则使用任一模块，只需debug()或info()等。

因此，我希望检测我的代码是否正在PySpark或非PySpark环境中导入/运行：类似于：

class App:

    def our_logger(self):
        if self.running_under_spark():
            sc = SparkContext(conf=conf) 
            log4jLogger = sc._jvm.org.apache.log4j 
            log = log4jLogger.LogManager.getLogger(__name__) 
            log.warn("Hello World!")
            return log
        else:
            from loguru import logger
            return logger

我应如何实施running_under_spark()

仅尝试导入pyspark并查看其是否有效，这并不是一种防故​​障方法，因为我在开发环境中拥有pyspark可以杀死代码中未导入模块的警告在我的IDE中。

解决方法

也许您可以在运行时检查的Spark环境中设置一些环境变量（在$ SPARK_HOME / conf / spark-env.sh中）：

export SPARKY=spark

然后您检查SPARKY是否存在，以确定您是否处于火花环境中。

from os import environ

class App:
def our_logger(self):
    if environ.get('SPARKY') is not None:
        sc = SparkContext(conf=conf) 
        log4jLogger = sc._jvm.org.apache.log4j 
        log = log4jLogger.LogManager.getLogger(__name__) 
        log.warn("Hello World!")
        return log
    else:
        from loguru import logger
        return logger