在生成 EMR 集群时自动创建 TaskRunner

问题描述

我有一个长期运行的 AWS EMR 集群,我用它来运行来自几个 AWS 数据管道的任务。数据管道中的任务是在 TaskRunner 的帮助下挑选出来的。

如果集群出现故障或者我有类似的用例,今天我必须手动生成一个新集群并通过 SSH 连接到主节点来启动 TaskRunner,然后在后台运行以下命令。

>
$ java -jar TaskRunner-1.0.jar --config ~/credentials.json --workerGroup=myWorkerGroup --region=MyRegion --logUri=s3://mybucket/foldername

有没有一种方法可以使用 CDK/CloudFormation 或等效方法来完成相同的操作,这样当我想要复制此过程或创建新集群时,我就不必手动 SSH 并运行这些命令?

>

我尝试使用 AWS CLI、CDK、CFN 搜索选项,但没有找到任何可以专门帮助我使用 TaskRunners 的内容

解决方法

暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!

如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@)