如何使XFS配额在DigitalOcean上的Kubernetes卷中工作?

问题描述

在DigitalOcean上的Kubernetes中使XFS配额正常工作时,我需要帮助。

我的问题本质上是,xfs_quota工具似乎仅在还可以访问磁盘设备(不仅是已装入的卷)的情况下才起作用。但是,无论我如何尝试,我似乎都无法同时访问设备和安装架。

我尝试了卷挂载和原始块卷。

批量安装

这是我的存储课程:

apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: block-storage-retain-xfs-prjquota
provisioner: dobs.csi.digitalocean.com
parameters:
  fsType: xfs
reclaimPolicy: Retain
volumeBindingMode: WaitForFirstConsumer
mountOptions:
  - prjquota

然后我声明一个新的卷并将其添加到这样的pod中:

volumeClaimTemplates:
  - metadata:
      name: my-storage
      namespace: my-namespace
    spec:
      accessModes:
        - ReadWriteOnce
      storageClassName: block-storage-retain-xfs-prjquota
      resources:
        requests:
          storage: 1Gi

并安装它:

volumeMounts:
  - name: my-storage
    mountPath: "/var/www"

在Pod中,所有东西都正确安装,我可以访问该卷(可以在其中创建内容)并且正确设置了安装标志:

$ mount | grep -i www
/dev/disk/by-id/scsi-0DO_Volume_pvc-650ccba6-3177-45b5-9ffb-0ac2a931fddc on /var/www type xfs (rw,relatime,attr2,inode64,prjquota)

但是,该磁盘设备在Pod中不可用:

$ ls -la /dev/disk/by-id/scsi-0DO_Volume_pvc-650ccba6-3177-45b5-9ffb-0ac2a931fddc
ls: cannot access '/dev/disk/by-id/scsi-0DO_Volume_pvc-650ccba6-3177-45b5-9ffb-0ac2a931fddc': No such file or directory

(实际上,整个/dev/disk/目录不可用)

根据我的调查,缺乏对设备的访问权限是XFS工具失败的原因:

$ xfs_quota -x -c 'report -h' /var/www
xfs_quota: cannot setup path for mount /var/www: No such device or address

原始块体积

我还尝试切换到原始块卷:

volumeClaimTemplates:
  - metadata:
      name: my-storage
      namespace: my-namespace
    spec:
      accessModes:
        - ReadWriteOnce
      volumeMode: Block
      storageClassName: block-storage-retain-xfs-prjquota
      resources:
        requests:
          storage: 1Gi

并将其添加为:

volumeDevices:
  - name: my-storage
    devicePath: /dev/my-storage

这给了我设备,但是由于某种原因,我无法对其进行格式化/挂载(实际上既不是XFS也不是ext4):

$ mkfs.xfs /dev/my-storage
mkfs.xfs: error - cannot set blocksize 512 on block device /dev/my-storage: Permission denied
$ mkfs.ext4 /dev/my-storage
mke2fs 1.45.5 (07-Jan-2020)
Discarding device blocks: done
Creating filesystem with 262144 4k blocks and 65536 inodes
Filesystem UUID: 18f07181-737c-4b68-a5fe-ccd7f2c50ff8
Superblock backups stored on blocks:
    32768,98304,163840,229376

Allocating group tables: done
Writing inode tables: done
Creating journal (8192 blocks): done
Writing superblocks and filesystem accounting information: done

$ mount /dev/my-storage /var/www
mount: /var/www: cannot mount /dev/my-storage read-only.

借助SYS_ADMIN Linux功能,我实际上可以对其进行格式化,但仍无法挂载它:

$ mkfs.xfs -f /dev/my-storage
meta-data=/dev/my-storage        isize=512    agcount=4,agsize=65536 blks
         =                       sectsz=512   attr=2,projid32bit=1
         =                       crc=1        finobt=1,sparse=1,rmapbt=0
         =                       reflink=1
data     =                       bsize=4096   blocks=262144,imaxpct=25
         =                       sunit=0      swidth=0 blks
naming   =version 2              bsize=4096   ascii-ci=0,ftype=1
log      =internal log           bsize=4096   blocks=2560,version=2
         =                       sectsz=512   sunit=0 blks,lazy-count=1
realtime =none                   extsz=4096   blocks=0,rtextents=0

$ mount /dev/my-storage /var/www
mount: /var/www: cannot mount /dev/my-storage read-only.

(为什么磁盘设备是只读的?)

原始块体积-带分区

好,所以我试图创建一个分区并格式化它。分区创建成功,但我无权访问分区设备:

$ fdisk -l /dev/my-storage
Disk /dev/my-storage: 1 GiB,1073741824 bytes,2097152 sectors
Disk model: Volume
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disklabel type: dos
Disk identifier: 0xb4a24142

Device            Boot Start     End Sectors  Size Id Type
/dev/my-storage1        2048 2097151 2095104 1023M 83 Linux

但是,/dev/my-storage1不存在:

$ ls -la /dev/my-storage*
brw-rw---- 1 root disk 8,48 Oct 25 14:42 /dev/my-storage

我尝试以privileged的身份运行容器,这使我可以访问/dev中的更多设备,但后来我根本看不到原始块卷设备。

下一步是什么?

如我所见,所有这些都对我有用:

  1. 获得用于卷安装的基础块设备的访问权限。
  2. 访问分区设备,以便我可以安装它。
  3. 能够挂载原始块卷(例如,通过将其设置为非只读,无论其含义如何)。
  4. 使用xfs_quota工具不需要基础设备。

我相信几个月前我就使用了带有分区的原始块卷使其工作,但是我忘记了DigitalOcean的方式或发生了什么变化,而且似乎无法再创建和访问分区。

非常感谢任何帮助,谢谢!

解决方法

这里是DigitalOcean的Managed Kubernetes(DOKS)团队的提摩。

您所缺少的是/dev目录的主机系统挂载。如果同时添加

 volumes:
 - name: device-dir
   hostPath:
     path: /dev

volumeMounts:
  - name: device-dir
    mountPath: /dev

在正确位置的清单上,一切应该按预期进行。

相关问答

Selenium Web驱动程序和Java。元素在(x,y)点处不可单击。其...
Python-如何使用点“。” 访问字典成员?
Java 字符串是不可变的。到底是什么意思?
Java中的“ final”关键字如何工作?(我仍然可以修改对象。...
“loop:”在Java代码中。这是什么,为什么要编译?
java.lang.ClassNotFoundException:sun.jdbc.odbc.JdbcOdbc...