CephFs和CephRBD将减慢git克隆

问题描述

我已经在kubernetes集群中部署了ceph集群,并尝试使用CephFs和CephRbd typ的卷挂载在pod内git clone一个存储库。

尽管将所有文件写入卷都需要花费大量时间。

git存储库的大小约为4gb。

想知道这是否是正常行为吗?

规格:

4个kubernetes节点-1个主节点+ 3个从节点 3 Osd 3星期一 1个Metada服务器 1个mnager守护程序

ceph用作存储的3个节点是第二个100Gb大小的ssd驱动器。

解决方法

我们也在运行一个小型ceph集群(4个节点,每个节点2个OSD)。节点仅由ceph使用。它们与10Gbit以太网连接,具有Samsung服务器级别的SSD(由于this incompatibility,我建议您谨慎使用Samsung SSD)。尤其是服务器级固态硬盘为我们带来了更大的吞吐量。减少延迟的每个部分都可以为您带来更好的吞吐量和对小文件创建高速率的更好响应。

我们从每个OSD的三个节点和两个消费者SSD开始。那段时间非常麻烦,因为在使用ceph作为后备存储的30个虚拟机中,我们遇到了一些情况,其中ceph无法跟上IO的速度。

ceph节点越多越好。添加第四个节点对我们来说有很大的不同。保持ceph节点不属于ceph。有足够的内存。不要让OSD交换。使用推荐的硬件。

我只能强烈推荐这本书:Mastering Ceph 2nd Edition。它充满了有价值的信息。