如何在Google Dataproc上安排Spark作业？

问题描述

我想使用Dataproc在Google Cloud上创建一个提取/聚合流，我希望每天/每小时一次，以Spark作业对之前收集到的数据运行。

是否可以安排Spark作业？或者基于在流上出现任何新的数据事件？

解决方法

Dataproc Workflow + Cloud Scheduler可能是您的解决方案。它完全支持您所描述的内容，例如每天进行大量工作。