x509：未知权限度量标准服务器签名的证书

问题描述

我是kubernetes的新手，我终于意识到如何启动kubernetes-sigs/metrics-server中所述的指标服务器。如果有人想知道您是否需要在主节点上进行部署，并且集群中至少有一个工作线程。

所以我得到这个错误：

E0818 15:25:22.835094       1 manager.go:111] unable to fully collect metrics: [unable to fully scrape metrics from source kubelet_summary:<hostname-master>: unable to fetch metrics from Kubelet <hostname-master> (<hostname-master>): Get https://<hostname-master>:10250/stats/summary?only_cpu_and_memory=true: x509: certificate signed by unkNown authority,unable to fully scrape metrics from source kubelet_summary:<hostname-worker>: unable to fetch metrics from Kubelet <hostname-worker> (<hostname-worker>): Get https://<hostname-worker>:10250/stats/summary?only_cpu_and_memory=true: x509: certificate signed by unkNown authority]

我正在使用自己的CA（非自签名），并且已经修改了components.yml文件（示例）：

args:
  - --cert-dir=/tmp/metricsServerCas
  - --secure-port=4443
  - --kubelet-preferred-address-types=Hostname

我知道可以使用已经尝试过的标志--kubelet-insecure-tls来禁用tls。我想使用自己的CA来提高安全性。

我看到了其他许多相关问题（样本很少），例如：

x509 certificate signed by unknown authority- Kubernetes和kubectl unable to connect to server: x509: certificate signed by unknown authority

尽管我已经在$HOME/.kube/config上应用了chown，但仍然看到此错误。

我要去哪里错了？

更新：在工作人员上，我正在创建目录，例如/tmp/ca，然后将ca文件添加到目录中。

我对安装点还不太满意，我认为我做错了什么。图像的默认语法可以在kubernetes-sigs/metrics-server/v0.3.7处找到（请参阅components.yml文件）。

我尝试在工人上创建目录，例如/ tmp / ca，我修改了标志--cert-dir=/tmp/ca和mountPath: /tmp/ca

当我部署文件时，例如：

kubectl apply -f https://github.com/kubernetes-sigs/metrics-server/releases/download/v0.3.7/components.yaml

我不断从metrics-server-xxxx得到错误消息：

panic: open /tmp/client-ca-file805316981: read-only file system

尽管我已经授予了对目录的完全访问权限，例如：

$ ls -la /tmp/ca
total 8
drwxr-xr-x.  2 user user   20 Aug 19 16:59 .
drwxrwxrwt. 18 root        root        4096 Aug 19 17:34 ..
-rwxr-xr-x.  1 user user 1025 Aug 19 16:59 ca.crt

我不确定我要去哪里错了。

如何配置，以便某人可以使用非自签名证书？我可以看到大多数人都在使用非SSL，这是我想避免的。

图像中我的参数样本：

spec:
  selector:
    matchLabels:
      k8s-app: metrics-server
  template:
    Metadata:
      name: metrics-server
      labels:
        k8s-app: metrics-server
    spec:
      serviceAccountName: metrics-server
      volumes:
      # mount in tmp so we can safely use from-scratch images and/or read-only containers
      - name: tmp-dir
        emptyDir: {}
      containers:
      - name: metrics-server
        image: k8s.gcr.io/metrics-server/metrics-server:v0.3.7
        imagePullPolicy: IfNotPresent
        args:
          - --cert-dir=/tmp/ca
          - --secure-port=4443
          - --kubelet-preferred-address-types=Hostname
        ports:
        - name: main-port
          containerPort: 4443
          protocol: TCP
        securityContext:
          readOnlyRootFilesystem: true
          runAsNonRoot: true
          runAsUser: 1000
        volumeMounts:
        - name: tmp-dir
          mountPath: /tmp/ca
      nodeselector:
        kubernetes.io/os: linux
        kubernetes.io/arch: "amd64"

更新2：：从Master向Worker添加curl命令，包括错误输出：

$ curl --cacert /etc/kubernetes/pki/ca.crt https://node_hostname:10250/stats/summary?only_cpu_and_memory=true
curl: (60) Peer's certificate issuer has been marked as not trusted by the user.
More details here: http://curl.haxx.se/docs/sslcerts.html

curl performs SSL certificate verification by default,using a "bundle"
 of Certificate Authority (CA) public keys (CA certs). If the default
 bundle file isn't adequate,you can specify an alternate file
 using the --cacert option.
If this HTTPS server uses a certificate signed by a CA represented in
 the bundle,the certificate verification probably Failed due to a
 problem with the certificate (it might be expired,or the name might
 not match the domain name in the URL).
If you'd like to turn off curl's verification of the certificate,use
 the -k (or --insecure) option.

解决方法

将此答案作为社区Wiki发布，以便在评论中发布解决方案时提供更好的可见性。

我以前使用的版本是1.18.2和度量服务器v0.3.6。部署是通过kubeadm进行的。是的，所有要求都与指标服务器/要求完全相同。好消息是，我可以通过在1.19.0上升级我的k8s版本并使用最新版本v0.3.7来使其运行。它可以使用自签名证书。

此问题已通过升级解决：

Kubernetes：1.18.2-> 1.19.0
Metrics-server：0.3.6-> 0.3.7

此升级允许在启用metrics-server（自签名证书）的情况下运行tls。

在使用metrics-server部署tls时可能有帮助的其他资源：

Github.com: Kubernetes-sigs: Metrics-server: FAQ: How to run metrics-server-securely

如何安全地运行指标服务器？建议的配置：

启用了RBAC的集群

Kubelet read-only port端口已禁用

通过安装CA文件并向度量标准服务器提供--kubelet-certificate-authority标志来验证kubelet证书

避免将不安全的标志传递到指标服务器（--deprecated-kubelet-完全不安全，-kubelet-insecure-tls）

考虑使用自己的证书（--tls-cert-file，-tls-private-key-file）

创建一个配置图以存储用于生成kubelet服务证书的ca证书。

kubectl -n kube-system create configmap ca --from-file=ca.crt=/etc/kubernetes/pki/ca.crt -o yaml

然后使用volumeMounts在指标服务器容器中使用它

spec:
  volumes:
  - emptyDir: {}
    name: tmp-dir
  - configMap:
      defaultMode: 420
      name: ca
    name: ca-dir
  containers:
    args:
      - --cert-dir=/tmp
      - --secure-port=4443
      - --kubelet-certificate-authority=/ca/ca.crt
      - --kubelet-preferred-address-types=Hostname
    volumeMounts:
    - mountPath: /tmp
      name: tmp-dir
    - mountPath: /ca
      name: ca-dir

您可以采用相同的方法，并使用--tls-cert-file和--tls-private-key-file来使用您自己的证书而不是自签名证书。

kubernetes metrics-server ssl