如何将两个docker容器连接到openvswitch+DPDK

问题描述

我正在尝试使用 Iperf3（任何吞吐量测试器应用程序）连接到 ubuntu 18.04（VMWare 工作站）上的 OVS（openvswitch）和 DPDK 来测试两个 docker 容器之间的吞吐量。这样做的目的是比较 OVS-DPDK 与 Linux 内核在某些场景下的性能。

我找不到合适的解决方案，它解释了如何将 OVS+DPDK 连接到 docker 容器，以便容器可以相互传递 TCP/UDP 流量。

非常感谢您帮助解释如何使用 OVS+DPDK 连接两个 docker 容器。需要在docker容器中完成的配置，以及需要在宿主操作系统中完成的配置。

顺便说一句，我没有来自外面的流量。

谢谢

编辑

• DPDK 版本为 20.11.0
• OVS 版本为 2.15.90
• Iperf3

以下是我采取的步骤：

1. 我使用 apt 安装 dpdk：sudo apt install openvswitch-switch-dpdk

2. 将备选设置为：sudo update-alternatives --set OvS-vswitchd /usr/lib/openvswitch-switch -dpdk/OvS-vswitchd-dpdk

3. 分配大页面并更新 grub。

4. 挂载大页面

5. 将 NIC 绑定到 DPDK：sudo dpdk-devbind --bind=vfio-pci ens33。虽然我不需要这一步，因为如果我不绑定我的 NIC，我就没有来自外部的流量，但 sudo service openvswitch-switch restart 会失败。

6. 我创建了一个桥：ovs-vsctl add-br br0 -- set bridge br0 datapath_type=netdev

7. 我为容器创建了两个端口：ovs-vsctl add-port br0 client -- set Interface client type=dpdk options:dpdk-devargs=<binded_nic_pci_addr> 和 ovs-vsctl add-port br0 server -- set Interface server type=dpdk options:dpdk-devargs=<binded_nic_pci_addr>。 （服务器端口号：1，客户端端口号：2）

8. 打开端口之间的双向流：

   1. sudo ovs-ofctl del-flows br0
   2. sudo ovs-ofctl add-flow br0 in_port=1,action=output:2
   3. ovs-ofctl add-flow br0 in_port=2,action=output:1

在第 8 步之后，我不知道如何连接我的 iperf3 docker 容器以使用这些端口。感谢您帮助我了解如何将容器连接到端口并测试网络。

编辑 2

根据 Vipin 的回答，考虑到我的要求，这些步骤不起作用。

解决方法

[编辑：更新以反映仅在容器上使用 OVS-DPDK 和 iperf3]

有多种方式可以连接 2 个 docker 以使用运行 iperf3 直接相互交谈。

1. Docker-1 中的 TAP-1|MAC-VETH-1 等虚拟接口连接到 TAP-2|通过 Linux Bridge 的 MAC-VETH-2。
2. 从 OVS-DPDK 到 Docker-1 的虚拟端口 1 (TAP|memif) 和通过 DPDK-OVS 到 Docker-2 的虚拟端口 2 (tap|memif)

对于场景 2，需要将 TAP 接口添加到 OVS。因为最终应用程序 iperf3 正在使用内核堆栈进行 TCP|UDP 终止。可以使用以下设置（基于OVS-DPDK版本修改）来实现。

sudo ./utilities/ovs-vsctl add-br br0 -- set bridge br0 datapath_type=netdev
sudo ./utilities/ovs-vsctl add-port br0 myeth0 -- set Interface myeth0 type=dpdk options:dpdk-devargs=net_tap0,iface=tap0
sudo ./utilities/ovs-vsctl add-port br0 myeth1 -- set Interface myeth1 type=dpdk options:dpdk-devargs=net_tap1,iface=tap1
sudo ./utilities/ovs-ofctl add-flow br0 in_port=1,action=output:2
sudo ./utilities/ovs-ofctl add-flow br0 in_port=2,action=output:1

注意：

1. 正如评论中提到的，我不赞成这种方法，因为 TAP PMD 打败了绕过内核的好处 (Docker1 ==> Kenrel TAP-1 ==> DPDK PMD ==> OVS ==> DPDK PMD == > 内核 TAP2 ==> Docker2)
2. 如果只需要检查 iperf3 的性能，请使用 DPDK-iperf3，例如 github project。
3. 推荐 TAP PMD 而不是 KNI PMD 的原因是使用 2 个 CPU 内核（DPDK 线程和内核线程）tap 和 KNI 与 iperf3 的速度相当，约为 4Gbps

[EDIT-1] 基于对话 https://chat.stackoverflow.com/rooms/231963/ovs-dpdk，@MohammadSiavashi

1. Iperf3 需要内核或用户空间网络堆栈。
2. 在 Linux docker 中，可以使用内核堆栈来实现这一点。
3. DPDK-OVS 只会绕过 Linux 内核桥。
4. 因此，最简单的替代方法是使用 TAP 接口为 docker 注入回内核。
5. 用户空间网络堆栈和 iperf3 有一个替代方案（如答案中所共享），完全在 DPDK 上。
6. OVS-DPDK 对于当前的测试不是强制性的，因为可以运行 testpmd,l2fwd,skeleton 而不是运行 OVS-DPDK。
7. 也可以始终使用用户空间网络堆栈而不是内核网络堆栈。

当前协议：

• Docker 在主机上运行并使用由命名空间和组划分的内核堆栈
• 根据目前的理解，@MohammadSiavashi 将尝试 TAP PMD based OVS-DPDK 和 alternate to userspace iperf3。