问题描述
我正在为长时间运行的AWS EMR上的Spark Jobs设计CI / CD。将火花作业添加为EMR群集中的一个步骤。我正在考虑对CI / CD使用取消步骤和添加步骤。因此，我在CI / CD管道中集成了一个Linux Shell脚本，这是取消和添加步骤。该步骤可以取消。但是，相应的spark应用程序仍在运行。正常吗停止CI / CD的正在运行的spark应用程序的正确方法是什么？谢谢！
解决方法
该步骤运行时，您无法通过AWS API取消，但是可以使用EMR的yarn命令（例如，
）来取消yarn application -kill application_id
可以从以下命令获取ID的地方。
yarn application -list