如何在jupyter中不仅显示最后结果还显示完整输出-适用于AWS Emr pyspark

问题描述

我希望有一个与该问题相同的选项：How to display full output in Jupyter,not only last result?，但适用于AWS EMR的jupyterhub的pyspark内核（Spark 2.4.4）。它适用于python3（python3.6）内核。

如果我使用打印语句，它会起作用，但是在这种情况下，如果最后一步失败，它将不起作用，那么它将仅显示失败步骤的结果，如下图所示。

另外，需要注意的是，不确定是否相关，但是下面的代码不会同步运行，即打印等待打印等待...。但是，它只会在最后一次打印所有内容。

import time
for i in range(0,10):
    print(i)
    time.sleep(2)

如果引用的问题/帖子被删除或更改，只需添加引用的帖子中的问题。

我希望Jupyter在不求助于打印的情况下打印所有交互式输出，而不仅仅是最后的结果。怎么做？

示例：

a=3
a
a+1

我想展示

3
4

解决方法

打印语句的输出将转到运行spark执行程序的计算机上的stdout或stderr。

考虑到您有一个具有n个工作程序的大型集群（每个存储分区都是RDD或DataFrame）。很难期望作业中的排序输出（例如，映射）。对于火花本身，这也可以被认为是设计选择。该数据将在哪里打印？由于节点并行运行代码，因此将首先打印其中的哪个？

因此，我们在作业中没有交互式打印语句。整件事也可以使您想起为什么我们有accumulators和broadcast变量。

因此，我建议您使用分步生成的日志来处理日志。要查看Amazon S3中的日志，必须启用集群日志记录（这是新集群的默认设置）。查看Log Files Archived to Amazon S3。

对于有关sleep()和print的第二个问题，python是行缓冲的，这迫使它等待换行，然后再打印到stdout。如果输出不是控制台，那么即使换行也不会触发刷新。

您可以将行为强制为

import time
for i in range(0,10):
    print(i,flush=True)
    time.sleep(2)