问题描述
根据SM python SDK documentation，每个vcpu将分配一个模型工作者。有没有一种方法可以获取每个工人的索引号？这样，便可以将工作人员分配到GPU。例如：在4台GPU机器上的32名工人将每个GPU产生8名专用工人。
解决方法
工作者的数量通常是一个环境变量，我们在推理工具包中将其传递给多模型服务器：https://github.com/aws/sagemaker-inference-toolkit/blob/master/src/sagemaker_inference/model_server.py#L151
它没有公开获取每个工人索引号的接口，但是当您使用SageMaker进行推断时，每个工人在打印日志中应该具有不同的颜色，以便您可以区分它们。