centos – KVM节点上的磁盘性能非常差 – mdadm raid10

很长一段时间,我在用于KVM虚拟化的CentOS服务器上遇到了性能问题.

我正在运行带有4个磁盘的软件RAID-10(Seagate ST2000DM001,2TB,7200rpm SATA-600)
这些KVM VM正在运行自己的LV.

一旦安装了一些VM,性能就会随着每个添加的VM而不断下降.

现在,安装Debian 7最少需要3个小时.在没有VM的空盒子上,最多只需几分钟.

奇怪的是,即使有37个VM,也几乎没有磁盘I / O.但是那时需要完成的每个I / O都会将关于特定LV容量的“dm”设备带到100%.

由于某种原因,它看起来像“dm-xx”设备无法使用所有磁盘.

下面是我的意思的一个例子.在该问题期间,sd [a / b / c / d]通常约为40至60%,但是一个或多个dm设备具有高负载而没有任何严重的I / O.

请注意VM的特定dm-0的%util.

Device:         rrqm/s   wrqm/s     r/s     w/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await  svctm  %util
sdb              10.00     0.00    5.00   36.00   256.00   424.00    33.17     0.86   20.73  11.02  45.20
sdd               0.00     1.00    0.00   48.00     0.00   389.00    16.21     0.85   17.71  10.90  52.30
sda               0.00     0.00    2.00   39.00    32.00   161.00     9.41     0.77   18.63  11.44  46.90
sdc               0.00     1.00    0.00   50.00     0.00   764.00    30.56     1.59   47.08  13.90  69.50
md1               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
md2               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
md0               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
md3               0.00     0.00   18.00   68.00   288.00   813.00    25.60     0.00    0.00   0.00   0.00
dm-0              0.00     0.00    0.00    6.00     0.00    40.00    13.33     0.31   51.50  51.17  30.70
dm-1              0.00     0.00    0.00    7.00     0.00    72.00    20.57     0.74   49.43  99.14  69.40
dm-2              0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
dm-3              0.00     0.00   16.00    0.00   256.00     0.00    32.00     0.96   59.69   8.38  13.40
dm-4              0.00     0.00    0.00    8.00     0.00    68.00    17.00     0.28   34.62  31.25  25.00
dm-5              0.00     0.00    0.00    4.00     0.00   156.00    78.00     0.05   12.00  12.00   4.80
dm-6              0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
dm-7              0.00     0.00    0.00    4.00     0.00    20.00    10.00     0.08   19.00   6.75   2.70
dm-8              0.00     0.00    0.00    3.00     0.00     4.00     2.67     0.54  258.33 154.00  46.20
dm-9              0.00     0.00    0.00    5.00     0.00   148.00    59.20     0.10   19.40  19.40   9.70
dm-10             0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
dm-11             0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
dm-12             0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
dm-13             0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
dm-14             0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
dm-15             0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
dm-16             0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
dm-17             0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
dm-18             0.00     0.00    2.00    0.00    32.00     0.00    32.00     0.03   12.50   6.50   1.30
dm-19             0.00     0.00    0.00    2.00     0.00    12.00    12.00     0.03   13.00   6.50   1.30
dm-20             0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
dm-21             0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
dm-22             0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
dm-23             0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
dm-24             0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
dm-25             0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
dm-26             0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
dm-27             0.00     0.00    0.00    1.00     0.00     0.00     0.00     0.11  294.00 110.00  11.00
dm-28             0.00     0.00    0.00    3.00     0.00    16.00    10.67     0.10   50.33  25.00   7.50
dm-29             0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
dm-30             0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
dm-31             0.00     0.00    0.00    4.00     0.00    12.00     6.00     0.56  140.25 140.25  56.10
dm-32             0.00     0.00    0.00    6.00     0.00    32.00    10.67     0.76  125.83 125.83  75.50
dm-33             0.00     0.00    0.00    4.00     0.00    12.00     6.00     0.21   53.00  53.00  21.20
dm-34             0.00     0.00    0.00    3.00     0.00     4.00     2.67     0.40  172.33 133.33  40.00
dm-35             0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
dm-36             0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
dm-37             0.00     0.00    0.00    9.00     0.00   217.00    48.22     1.09  135.33 111.00  99.90
=================================
Device:         rrqm/s   wrqm/s     r/s     w/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await  svctm  %util
sdb               0.00     0.00    0.00    7.00     0.00    72.00    20.57     3.84  430.14 126.00  88.20
sdd              10.00     0.00    4.00   13.00   240.00   304.00    64.00     2.07  126.59  33.00  56.10
sda               0.00     1.00    1.00   11.00    16.00   320.00    56.00     0.25   20.42   8.83  10.60
sdc               0.00     0.00    2.00    7.00    32.00    96.00    28.44     0.13   14.89  13.78  12.40
md1               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
md2               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
md0               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
md3               0.00     0.00   18.00   17.00   288.00   416.00    40.23     0.00    0.00   0.00   0.00
dm-0              0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
dm-1              0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
dm-2              0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
dm-3              0.00     0.00   13.00    0.00   208.00     0.00    32.00     3.66  281.85  21.69  28.20
dm-4              0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
dm-5              0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
dm-6              0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
dm-7              0.00     0.00    0.00    5.00     0.00    92.00    36.80     1.84  179.40 189.80  94.90
dm-8              0.00     0.00    0.00    1.00     0.00     4.00     8.00     1.00  655.00 1000.00 100.00
dm-9              0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
dm-10             0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
dm-11             0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
dm-12             0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
dm-13             0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
dm-14             0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
dm-15             0.00     0.00    0.00    1.00     0.00     0.00     0.00     1.44 1512.00 1000.00 100.00
dm-16             0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
dm-17             0.00     0.00    0.00    3.00     0.00    16.00    10.67     0.56    6.00 187.67  56.30
dm-18             0.00     0.00    5.00    0.00    80.00     0.00    32.00     0.37   73.40  71.40  35.70
dm-19             0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
dm-20             0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
dm-21             0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
dm-22             0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
dm-23             0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
dm-24             0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
dm-25             0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
dm-26             0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
dm-27             0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.44    0.00   0.00  43.80
dm-28             0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
dm-29             0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
dm-30             0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
dm-31             0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
dm-32             0.00     0.00    0.00    1.00     0.00     4.00     8.00     0.00    1.00   1.00   0.10
dm-33             0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
dm-34             0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
dm-35             0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
dm-36             0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
dm-37             0.00     0.00    0.00    7.00     0.00   300.00    85.71     2.00  101.00 142.86 100.00
=================================
Device:         rrqm/s   wrqm/s     r/s     w/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await  svctm  %util
sdb               1.00     1.00    1.00   47.00    48.00   676.00    30.17     1.47   30.62  11.65  55.90
sdd               1.00     0.00    9.00   88.00   176.00   395.00    11.77     0.83    8.59   5.12  49.70
sda               0.00     0.00    0.00   50.00     0.00   541.50    21.66     0.83   16.54  11.22  56.10
sdc               1.00     0.00    6.00   87.00   112.00   533.50    13.88     0.87    9.42   4.37  40.60
md1               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
md2               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
md0               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
md3               0.00     0.00   21.00  116.00   336.00   991.00    19.37     0.00    0.00   0.00   0.00
dm-0              0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
dm-1              0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
dm-2              0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
dm-3              0.00     0.00    4.00    0.00    64.00     0.00    32.00     0.00    0.00   0.00   0.00
dm-4              0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
dm-5              0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
dm-6              0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
dm-7              0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
dm-8              0.00     0.00    0.00   82.00     0.00   848.00    20.68     1.46   17.93   6.29  51.60
dm-9              0.00     0.00    0.00    3.00     0.00    16.00    10.67     0.03   11.33  11.33   3.40
dm-10             0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
dm-11             0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
dm-12             0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
dm-13             0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
dm-14             0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
dm-15             0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
dm-16             0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
dm-17             0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
dm-18             0.00     0.00   17.00    0.00   272.00     0.00    32.00     0.49   28.59  10.35  17.60
dm-19             0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
dm-20             0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
dm-21             0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
dm-22             0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
dm-23             0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
dm-24             0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
dm-25             0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
dm-26             0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
dm-27             0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
dm-28             0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
dm-29             0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
dm-30             0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
dm-31             0.00     0.00    0.00    5.00     0.00    16.00     6.40     0.13   26.00  26.00  13.00
dm-32             0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
dm-33             0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
dm-34             0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
dm-35             0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
dm-36             0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
dm-37             0.00     0.00    0.00   27.00     0.00   111.00     8.22     1.15   42.41  37.00  99.90

另一个例子 :

在随机VM上执行此操作时,导入2MB的SQL文件需要15分钟.该LV的I / O超过100%直到完成.它只有几个写入/秒,只有几KB / s的I / O.

即使有这些负载,dd的写入速度也在80MB / s到160MB / s左右.但是读取很糟糕,而且大部分时间都不超过10MB / s.

这就是我的RAID设置的样子.此框在“o2”布局上运行,但未显示与默认“n2”布局的任何差异.

# cat /proc/mdstat
Personalities : [raid10] [raid1]
md3 : active raid10 sdb5[4] sdc5[2] sdd5[3] sda5[0]
3872954368 blocks super 1.2 512K chunks 2 offset-copies [4/4] [UUUU]

md0 : active raid1 sdb1[4] sdc1[2] sdd1[3] sda1[0]
255988 blocks super 1.0 [4/4] [UUUU]

md2 : active raid10 sdb2[1] sdc2[2] sda2[0] sdd2[3]
31454208 blocks super 1.1 512K chunks 2 near-copies [4/4] [UUUU]
bitmap: 1/1 pages [4KB],65536KB chunk

md1 : active raid10 sdb3[4] sda3[0] sdc3[2] sdd3[3]
2096128 blocks super 1.1 512K chunks 2 near-copies [4/4] [UUUU]

这就是每个VM如何对各个磁盘(例如sda)和LV进行分区的方式.对于4K磁盘应该没问题.

Disk /dev/sda: 2000.4 GB,2000398934016 bytes
255 heads,63 sectors/track,243201 cylinders,total 3907029168 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes
Disk identifier: 0x000648b7

Device Boot      Start         End      Blocks   Id  System
/dev/sda1   *        2048      514047      256000   fd  Linux raid autodetect
Partition 1 does not end on cylinder boundary.
/dev/sda2          514048    31971327    15728640   fd  Linux raid autodetect
/dev/sda3        31971328    34068479     1048576   fd  Linux raid autodetect
/dev/sda4        34068480  3907029167  1936480344    5  Extended
/dev/sda5        34070528  3907028991  1936479232   fd  Linux raid autodetect

Disk /dev/mapper/raid10storage-kvm396_img: 75.2 GB,75161927680 bytes
255 heads,9137 cylinders,total 146800640 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 524288 bytes / 2097152 bytes
Disk identifier: 0x000a613c

                          Device Boot      Start         End      Blocks   Id  System
/dev/mapper/raid10storage-kvm396_imgp1   *        2048   145752063    72875008   83  Linux
/dev/mapper/raid10storage-kvm396_imgp2       145752064   146800639      524288   82  Linux swap / Solaris

我在所有VM上使用VirtIO,缓存设置为“none”.尝试了不同的缓存设置,但这导致了更糟糕的性能.

我有一些其他服务器运行smapper设置(较少的VM),但在RAID-1(2个磁盘)中使用相同类型的磁盘没有任何问题.

这似乎与RAID-10设置有关.

我目前使用了4个这样的RAID10盒子,并且都有不同的CPU和主板配置.但所有这些都有同样可怕的性能问题.

有没有人有一个想法或理论可以解释为什么这个设置执行如此可怕的缓慢?

它现在真的像这样可行,而且令人非常沮丧的是,1年后我还没有找到原因……

相关文章

文章浏览阅读903次。4.清除缓存目录(/var/cache/yum)下的软件...
文章浏览阅读1.5k次。Python 是一种高级解释性编程语言,已被...
文章浏览阅读2.6k次。打开终端或控制台,以root或具有sudo权...
文章浏览阅读744次,点赞24次,收藏26次。目标:通过AppSrv为...
文章浏览阅读1.1w次,点赞8次,收藏26次。chmod命令来自于英...
文章浏览阅读1.2k次。yum源的URL地址,本例中是文件系统的路...