emr 中的 mrjob 只运行了 3 个 MRStep 中的 1 个 MRStep，并且集群正在关闭

问题描述

错误看起来像这样：- 终止集群：j-SDOP2KOKWYZM

botocore.exceptions.ClientError：调用 AddJobFlowSteps 操作时发生错误 (ValidationException)：可能无法修改正在关闭、终止或完成的作业流。

解决方法

跟随错误。很明显，集群在第 1 步之后终止。 此问题是因为 botocore 软件包已被弃用。

对此的解决方案可能是：

1. 启动持久集群
2. 使用该集群 ID 在 emr 中运行 mr 作业

命令：

mrjob create-cluster

确保您已在 mrjob.config 文件中配置集群信息。上面的命令让你创建一个持久化集群。

python3 MovieSimilarities.py -r emr --cluster-id "your-cluster-id"
    --items=ml-100k/u.item ml-100k/u.data > sims2t.txt

现在指定集群 ID 来运行您的集群。