Kubernetes 作业 Pod 处于“未知”状态

问题描述

我正在使用 Kubernetes 的 K3s 发行版，它部署在 AWS 中的 Spot EC2 实例。

我已经安排了某个处理工作，有时这个工作正在被终止并进入“未知”状态（工作代码异常终止）

kubectl describe pod <pod_name>

它显示了这一点：

 State:          Terminated
      Reason:       UnkNown
      Exit Code:    255
      Started:      Wed,06 Jan 2021 21:13:29 +0000
      Finished:     Wed,06 Jan 2021 23:33:46 +0000

AWS 日志显示，在崩溃前 cpu 消耗为 99%。 从多个来源 (1,2,3) 我看到这可能是节点崩溃的原因，但没有看到， 可能是什么原因？

谢谢！

解决方法

作业的实际状态是 Terminated，原因是 Unknown。为了调试这种情况，您需要从您的作业创建的 Pod 中获取相关日志。

When a Job completes，不再创建 Pods，但是 Pods 也没有删除。将它们放在身边可以让您仍然查看 已完成 pod 的日志以检查错误、警告或其他 诊断输出。

为此，请执行 kubectl describe job $JOB 以查看 Events 部分下的 Pod 名称，然后执行 kubectl logs $POD。

如果这还不够，您可以尝试不同的Debug Pods方式，例如：

• 使用容器 exec 进行调试

• 使用临时调试容器进行调试，或

• 通过节点上的 shell 调试

上述方法将为您提供更多信息，以阻止工作终止背后的实际原因。