问题描述
我正在为spark更改conf，以限制我的spark结构化流日志文件的日志。我已经找到了执行此操作的属性，但是它现在无法正常工作。我需要重新启动所有节点（名称和工作节点）还是重新启动作业就足够了。 我们正在使用google dataproc集群，并在纱线上运行spark。
解决方法
最简单的方法是在群集创建期间使用Dataproc Cluster Properties设置这些属性：
gcloud dataproc clusters create $CLUSTER_NAME \
--properties spark:<key>=<value>,yarn:<key>=<value>
或在提交Spark应用程序时进行设置。