Infiniband/RDMA 上的 Rsync

问题描述

rsync 目前是否支持通过 RDMA/Infiniband 传输数据?我必须将一些数据发送到另一台服务器,但是传输需要很长时间,经过一段时间的搜索,我发现有一种称为 Infiniband 网络协议的东西,它使用 RDMA 发送数据并导致低延迟。

我想知道是否也可以通过 RDMA 进行 rsync?如果没有,那么我们如何使用 Infiniband,它是否具有与 rsync 相同的 API?看起来 Infiniband 内部仅限于某些基于硬件的协议。

解决方法

您可以配置 infiniband ipoib 并通过 ip 连接使用 rsync。虽然这不如本地 infiniband 快,但比预期的要快。我相信(可能是错误的)ipoib 被限制为 10Gb/s,我认为这可能是我旧卡的限制。

例如,连接在两个系统之间的 infiniband ipoib 上的 rsync 似乎最高为 144MB/s,即 1.15Gb/s。这是接收驱动器上驱动器写入速度的限制。(旋转 HDD)我可以通过 infiniband 进行 SSD 到 SSD rsync 的高达 500MB/s (4Gb/s) 的速度。

所以目前,我的限制是我可以读取和/或写入存储设备的速度。不是 infiniband 连接的速度。这意味着,通过我的 infiniband 网络连接到驱动器与在本地计算机上连接驱动器一样快。

希望这对一些人有所帮助。