OCP：带有 SRIOV 接口的多容器 POD 的问题

编程问答 2022-08-26

问题描述

环境：

Openshift 容器平台 - 4.7 版

豆荚描述：

  1. 每个 Pod 的容器数量 - 3 （为简单起见，我们将其命名为 A、B、C）

  2. 每个 Pod 的接口数量 - 3（在 Multus 的帮助下 - https://www.openshift.com/blog/demystifying-multus）

    virtio count   - 1
sriov vf count - 2

    SRIOV VF 是从基于 sriov-dpdk CNI 的网络中提取的 - https://github.com/openshift/sriov-cni#dpdk-userspace-driver-config

  3. 前两个容器（A 和 B）未在清单中分配任何 SRIOV 资源：-

    resources:
  limits:
    cpu: 100m
    memory: 200Mi
  requests:
    cpu: 100m
    memory: 200Mi

    第三个容器（C）分配有 SRIOV 资源：

    resources:
  limits:
    cpu: 200m
    memory: 500Mi
    openshift.io/sriov1:  1
    openshift.io/sriov2:  1
  requests:
    cpu: 200m
    memory: 500Mi
    openshift.io/sriov1:  1
    openshift.io/sriov2:  1

问题描述：

在容器资源部分（即限制和请求）中没有分配 SRIOV VF 的第一个容器 (A) 被分配了 SRIOV VF，如下所示：

```
State:          Running
  Started:      Thu,22 Jul 2021 10:38:35 +0000
Ready:          True
Restart Count:  0
Limits:
  cpu:                  100m
  memory:               200Mi
  openshift.io/sriov1:  1
  openshift.io/sriov2:  1
Requests:
  cpu:                  100m
  memory:               200Mi
  openshift.io/sriov1:  1
  openshift.io/sriov2:  1
Environment:
```

从容器 A 中，我可以看到环境变量的以下输出：

PCIDEVICE_OPENSHIFT_IO_SRIOV1=0000:5e:0a.4
PCIDEVICE_OPENSHIFT_IO_SRIOV2=0000:5e:0d.4

本应分配给 SRIOV 设备的第三个容器 (C) 也获得一对 SRIOV VF，如下所示：

```
Limits:
  cpu:                  200m
  memory:               500Mi
  openshift.io/sriov1:  1
  openshift.io/sriov2:  1
Requests:
  cpu:                  200m
  memory:               500Mi
  openshift.io/sriov1:  1
  openshift.io/sriov2:  1
Environment:
```

在第三个容器（C）中，我可以在环境变量中看到以下内容：

PCIDEVICE_OPENSHIFT_IO_SRIOV1=0000:5e:0a.3
PCIDEVICE_OPENSHIFT_IO_SRIOV2=0000:5e:0c.0

这与分配给第一个容器的完全不同。两个独立的 PCI 设备被分配给 pod 的容器。

除了上述问题外，分配给第三个容器 (C) 的 VF 没有在 SRIOV 接口上获得任何流量。

注意：

我知道，在一个 Pod 中，所有容器共享同一个网络命名空间。但根据我的理解，SRIOV VF 是按容器分配的，类似于 cpu、内存、磁盘分配。

​​解决方法：

通过调整pod manifest中容器的顺序，即将C作为pod manifest的第一个容器，可以看到只有第一个container(C)被分配了SRIOV VF .

容器 C 上的 SRIOV 接口现在可用，我们能够运行流量。

问题：

在有问题的场景中 -

  1. 为什么第一个容器 (A) 获得分配给它的 VF，即使其清单中没有定义 SRIOV 资源。

  2. 为什么与容器一起分配的第三个容器 (C) 不可用（没有获得任何流量）？

在工作场景中 -

  1. 为什么有效？
  2. 为什么 SRIOV 资源分配与 pod manifest 中容器的顺序相关联？

预先感谢您的回复:)

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）

containersdpdkkubernetesnetworkingopen-closed-principle