使用CSI插件使用Velero备份GKE群集时，无法将GCP永久磁盘PVC恢复到另一个区域

问题描述

我正在尝试将Velero用作Google Cloud Platform中具有多个GCP区域（例如Europe-north1和europe-west4）的备份和灾难恢复工具的GKE私有集群。我能够在同一地区使用velero成功地备份和还原（在europe-north1中备份了gke集群，并在europe-north1中恢复了另一个gke集群），没有任何问题。之所以能正常工作，是因为两个群集的快照存储在同一区域（europe-north1）。

但是我想使用velero作为GKE集群的灾难恢复工具，以便我可以备份Europe-north1地区的GKE集群并将其还原到europe-west4地区。在进一步的研究中，我发现通过enabling CSI plugin对velero的支持，我将能够实现这一目标。因此，我遵循了在velero中使用CSI插件的准则，但是我仍然无法将永久性磁盘PVC还原到另一个区域。快照被视为多区域（例如eu）。但是，当我运行velero restore命令时，pod的创建（我以wordpress和MysqL pod为例）一直处于“待处理”状态。

kubectl描述pod（MysqL和wordpress）给出以下错误：

   normal   NottriggerScaleUp  72s (x31 over 6m12s)  cluster-autoscaler  pod didn't trigger scale-up (it wouldn't fit if a new node is added):
  Warning  FailedScheduling   60s (x11 over 6m14s)  default-scheduler   0/4 nodes are available: 4 node(s) had volume node affinity conflict.

此错误是因为由PVC创建的google永久磁盘与GKE群集位于不同的区域。检查磁盘后，我可以看到restore命令创建了两个磁盘，但是它们仍是在europe-north1区域（主gke集群区域）中创建的，而不是在辅助gke集群所在的europe-west4区域中创建的。

由于这是velero（CSI插件）的一项新功能，我找不到在GCP中使用它的任何文档（有一个文档显示 CSI implementation with Azure Disks）

CSI插件与velero备份一起使用的最低要求：

kubernetes version : 1.17
velero version: 1.4.2

Velero版本

velero version
Client:
        Version: v1.4.2
        Git commit: 56a08a4d695d893f0863f697c2f926e27d70c0c5
Server:
        Version: v1.4.2

GKE集群kubernetes版本（使用GcePersistentdiskCsiDriver = ENABLED插件创建的GKE集群）：

v1.17.9-gke.600

主要地区：

europe-north1

次要（DR）区域：

europe-west4

用于安装velero服务器的命令（启用CSI插件）：

velero install \ 
--features=EnableCSI \ 
--provider=gcp \ 
--image=gcr.io/$project/velero:v1.4.2  \ 
--plugins=gcr.io/$project/velero-plugin-for-gcp:v1.1.0,gcr.io/$project/velero-plugin-for-csi:v0.1.0 \ 
--bucket=$storagebucket \ 
--secret-file=$HOME/./velero-backup-storage-sa-key.json

我为此参考的其他文件

https://velero.io/docs/v1.4/csi/#installing-velero-with-csi-support

https://cloud.google.com/kubernetes-engine/docs/how-to/persistent-volumes/gce-pd-csi-driver

任何帮助将不胜感激。

解决方法

在GCP中，默认情况下，VolumeSnapshots是多区域的（但单个地理区域-我们，欧洲或亚洲）。我已经成功测试了GCP中从us-central1到us-east4的StatefulSet的跨区域还原。但是有一个警告是我使用了区域磁盘并创建了配置了allowedTopologies的特定于区域/区域的StorageClasses。这是我的还原SC：

kind: StorageClass
apiVersion: storage.k8s.io/v1
metadata:
  annotations:
    storageclass.kubernetes.io/is-default-class: "true"
  name: regional-pd-ssd-csi-storageclass
provisioner: pd.csi.storage.gke.io
parameters:
  type: pd-ssd
  replication-type: regional-pd
reclaimPolicy: Delete
volumeBindingMode: WaitForFirstConsumer
allowedTopologies:
- matchLabelExpressions:
  - key: topology.gke.io/zone
    values:
    - us-east4-b
    - us-east4-c

这是备份区域的SC：

kind: StorageClass
apiVersion: storage.k8s.io/v1
metadata:
  annotations:
    storageclass.kubernetes.io/is-default-class: "true"
  name: regional-pd-ssd-csi-storageclass
provisioner: pd.csi.storage.gke.io
parameters:
  type: pd-ssd
  #replication-type is one of none or regional-pd,defaults to none (zonal PD)
  replication-type: regional-pd
reclaimPolicy: Delete
volumeBindingMode: WaitForFirstConsumer
allowedTopologies:
- matchLabelExpressions:
  - key: topology.gke.io/zone
    values:
    - us-central1-a
    - us-central1-b

也许可以在没有区域磁盘的情况下使用allowedTopologies，但据我所知EBS CSI驱动程序不支持该参数。

google-cloud-platform google-kubernetes-engine kubernetes velero