pytest monkeypatch：如何模拟 spark.sql("query").coalesce(1).write.csv(path, header=True)

问题描述

我编写了涉及收集数据和转换为 CSV 操作的 pyspark 代码。我可以使用以下补丁模拟 collect() 的 spark.sql 方法：

class MockSpark:
    @staticmethod
    def collect(*args,**kwargs):
        return []

def mock_return(*args,**kwargs):
    return MockSpark(*args,**kwargs)

monkeypatch.setattr(SparkSession,"sql",mock_return)

但是，我无法模拟下面的语句，因为它涉及调用 write.csv()：

spark.sql("select * from temp_table").coalesce(1).write.csv(path,header=True)

由于调用 write.csv()，我无法以类似于 coalesce 调用的方式模拟 collect。

有没有办法做到这一点？

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）