问题描述
我已使用 PySpark 作业（读取和写入 Big Query - 数据量 - 约 10 GB）迁移了一部分 C 应用程序以在 DataProc 上进行处理。在本地数据中心运行 8 分钟的 C 应用程序在 Data Proc 上需要大约 4 小时。有人可以告诉我最佳的 Data Proc 配置吗？目前我正在使用以下一个：
--master-machine-type n2-highmem-32 --master-boot-disk-type pd-ssd --master-boot-disk-size 500 --num-workers 2 --worker-machine-type n2-highmem-32 --worker-boot-disk-type pd-ssd --worker-boot-disk-size 500 --image-version 1.4-debian10
非常感谢有关优化 dataproc 配置的任何帮助。
谢谢， RP
解决方法
以下是一些关于 Dataproc 作业性能优化的好文章：Spark job tuning tips 和 10 questions to ask about your Hadoop and Spark cluster performance。