问题描述
我有一个长期运行的 AWS EMR 集群,我用它来运行来自几个 AWS 数据管道的任务。数据管道中的任务是在 TaskRunner 的帮助下挑选出来的。
如果集群出现故障或者我有类似的用例,今天我必须手动生成一个新集群并通过 SSH 连接到主节点来启动 TaskRunner,然后在后台运行以下命令。
>$ java -jar TaskRunner-1.0.jar --config ~/credentials.json --workerGroup=myWorkerGroup --region=MyRegion --logUri=s3://mybucket/foldername
有没有一种方法可以使用 CDK/CloudFormation 或等效方法来完成相同的操作,这样当我想要复制此过程或创建新集群时,我就不必手动 SSH 并运行这些命令?
>我尝试使用 AWS CLI、CDK、CFN 搜索选项,但没有找到任何可以专门帮助我使用 TaskRunners 的内容。
解决方法
暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!
如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。
小编邮箱:dio#foxmail.com (将#修改为@)