问题描述
我有一个由 slurm 管理的 aws HPC 自动缩放集群，我可以使用 sbatch 提交作业，但是我想在这个集群上使用 spraklyr，以便 slurm 根据 R 脚本中 sparklyr 代码的工作负载增加集群大小.这可能吗？
解决方法
嗨，阿米尔，你在这里使用 slurm 有什么原因吗？ Sparklyr 与 Apache Spark 有更好的集成，建议在 Spark 集群上运行它。您可以按照此博客了解使用 Amazon EMR 进行设置的步骤，Amazon EMR 是一种在 AWS 上运行 Spark 集群的服务 - https://aws.amazon.com/blogs/big-data/running-sparklyr-rstudios-r-interface-to-spark-on-amazon-emr/