问题描述

我无法应用入口配置。

我需要通过 DNS 访问 jupyter-lab 服务

http://jupyter-lab.local

已部署到 3 节点裸机 k8s 集群

node1.local（主）
node2.local（工人）
node3.local（工人）

Flannel 安装为网络控制器

我已经为这样的裸机安装了 Nginx 入口

kubectl apply -f https://raw.githubusercontent.com/kubernetes/ingress-Nginx/controller-v0.44.0/deploy/static/provider/bareMetal/deploy.yaml

部署后，jupyter-lab pod 位于 node2 上，NodePort 服务从 http://node2.local:30004 正确响应（见下文）

我期望 ingress-Nginx 控制器将通过其 DNS 名称公开 ClusterIP 服务......这就是我需要的，这是错误的吗？

这是 CIP 服务，使用对称端口 8888 定义为尽可能简单（这是错误的吗？）

---
apiVersion: v1
kind: Service
Metadata:
  name: jupyter-lab-cip
  namespace: default
spec:
  type: ClusterIP
  ports:
    - port: 8888
      targetPort: 8888
  selector:
    app: jupyter-lab

DNS 名称 jupyter-lab.local 解析为集群的 IP 地址范围，但超时且无响应。 Failed to connect to jupyter-lab.local port 80: No route to host
firewall-cmd --list-all 显示每个节点的 80 端口是开放的

这是端口 80 上 http 到集群（任何节点）的入口定义。（错了吗？）

apiVersion: networking.k8s.io/v1
kind: Ingress
Metadata:
  name: jupyter-lab-ingress
  annotations:
    # Nginx.ingress.kubernetes.io/rewrite-target: /
    Nginx.ingress.kubernetes.io: /
spec:
  rules:
  - host: jupyter-lab.local
    http:                       
      paths:
      - path: /
        pathType: Prefix
        backend:
          service:
            name: jupyter-lab-cip
            port:
              number: 80

这是部署

---
apiVersion: apps/v1
kind: Deployment
Metadata:
  name: jupyter-lab-dpt
  namespace: default
spec:
  replicas: 1
  selector:
    matchLabels:
      app: jupyter-lab
  template:
    Metadata:
      labels:
        app: jupyter-lab
    spec:
      volumes:
        - name: jupyter-lab-home
          persistentVolumeClaim:
            claimName: jupyter-lab-pvc
      containers:
        - name: jupyter-lab
          image: docker.io/jupyter/tensorflow-notebook
          ports:
            - containerPort: 8888
          volumeMounts:
            - name: jupyter-lab-home
              mountPath: /var/jupyter-lab_home
          env:
            - name: "JUPYTER_ENABLE_LAB"
              value: "yes"

我可以通过它的 NodePort http://node2:30004 使用这个定义成功访问 jupyter-lab：

---
apiVersion: v1
kind: Service
Metadata:
  name: jupyter-lab-nodeport
  namespace: default
spec:
  type: NodePort
  ports:
    - port: 10003
      targetPort: 8888
      nodePort: 30004
  selector:
    app: jupyter-lab

如何进入我的 jupyter 实验室 http://jupyter-lab.local ???

命令 kubectl get endpoints -n ingress-Nginx ingress-Nginx-controller-admission 返回：

ingress-Nginx-controller-admission 10.244.2.4:8443 15m

我是否错误地配置了端口？

我的“selector:appname”定义有误吗？

我是不是漏掉了一部分

如何调试正在发生的事情？

其他细节

我在应用入口 kubectl apply -f default-ingress.yml

时收到此错误

Error from server (InternalError): error when creating "minnimal-ingress.yml": Internal error occurred: Failed calling webhook "validate.Nginx.ingress.kubernetes.io": Post "https://ingress-Nginx-contr
oller-admission.ingress-Nginx.svc:443/networking/v1beta1/ingresses?timeout=10s": context deadline exceeded

这个命令kubectl delete validatingwebhookconfigurations --all-namespaces 删除了验证网络钩子......这样做有错吗？

我已经在集群中的每个节点上打开了端口 8443

解决方法

Ingress 无效，请尝试以下操作：

apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: jupyter-lab-ingress
  annotations:
    nginx.ingress.kubernetes.io/rewrite-target: /
spec:
  rules:
  - host: jupyter-lab.local
    http:                       # <- removed the -
      paths:
      - path: /
        pathType: Prefix
        backend:
          service:
#            name: jupyter-lab-cip
            name: jupyter-lab-nodeport
            port:
              number: 8888
---
apiVersion: v1
kind: Service
metadata:
  name: jupyter-lab-cip
  namespace: default
spec:
  type: ClusterIP
  ports:
    - port: 8888
      targetPort: 8888
  selector:
    app: jupyter-lab

如果我理解正确的话，您正在尝试通过入口 nginx 代理公开 jupyternb 并使其通过端口 80 访问。

运行以下命令来检查nginx入口服务使用的节点端口：

$ kubectl get svc -n ingress-nginx ingress-nginx-controller
NAME                       TYPE       CLUSTER-IP     EXTERNAL-IP   PORT(S)                      AGE
ingress-nginx-controller   NodePort   10.96.240.73   <none>        80:30816/TCP,443:31475/TCP   3h30m

在我的例子中是端口 30816（用于 http）和 31475（用于 https）。

使用 NodePort 类型，您只能使用 30000-32767 范围内的端口（k8s 文档：https://kubernetes.io/docs/concepts/services-networking/service/#nodeport）。您可以使用 kube-apiserver 标志 --service-node-port-range 更改它，然后将其设置为例如80-32767 然后在您的 ingress-nginx-controller 服务集 nodePort: 80

apiVersion: v1
kind: Service
metadata:
  annotations: {}
  labels:
    app.kubernetes.io/component: controller
    app.kubernetes.io/instance: ingress-nginx
    app.kubernetes.io/managed-by: Helm
    app.kubernetes.io/name: ingress-nginx
    app.kubernetes.io/version: 0.44.0
    helm.sh/chart: ingress-nginx-3.23.0
  name: ingress-nginx-controller
  namespace: ingress-nginx
spec:
  ports:
  - name: http
    port: 80
    protocol: TCP
    targetPort: http
    nodePort: 80         # <- HERE
  - name: https
    port: 443
    protocol: TCP
    targetPort: https
    nodePort: 443         # <- HERE
  selector:
    app.kubernetes.io/component: controller
    app.kubernetes.io/instance: ingress-nginx
    app.kubernetes.io/name: ingress-nginx
  type: NodePort

虽然通常不建议更改 service-node-port-range ，因为如果您使用节点上已经打开的端口（例如 kubelet 在每个节点上打开的端口 10250），您可能会遇到一些问题。

使用 MetalLB 可能是更好的解决方案。

编辑：

如何进入我的 jupyter 实验室 http://jupyter-lab.local ???

假设您不需要容错解决方案，请下载 https://raw.githubusercontent.com/kubernetes/ingress-nginx/controller-v0.44.0/deploy/static/provider/baremetal/deploy.yaml 文件并更改部署对象的 ports: 部分，如下所示：

  ports:
    - name: http
      containerPort: 80
      hostPort: 80         # <- add this line
      protocol: TCP
    - name: https
      containerPort: 443
      hostPort: 443        # <- add this line
      protocol: TCP
    - name: webhook
      containerPort: 8443
      protocol: TCP

并应用更改：

kubectl apply -f deploy.yaml

现在运行：

$ kubectl get po -n ingress-nginx ingress-nginx-controller-<HERE PLACE YOUR HASH>  -owide
NAME                                        READY   STATUS    RESTARTS   AGE   IP           NODE       NOMINATED NODE   READINESS GATES
ingress-nginx-controller-67897c9494-c7dwj   1/1     Running   0          97s   172.17.0.6   <node_name>   <none>           <none>

注意 NODE 列中的。这是 pod 被调度的节点的名称。现在获取此节点 IP 并将其添加到您的 /etc/hosts 文件中。

它现在应该可以工作（转到 http://jupyter-lab.local 来检查它），但是这个解决方案是脆弱的，如果 nginx 入口控制器 pod 被重新安排到其他节点，它将停止工作（并且它会保持这样直到你改变/etc/hosts 文件中的 IP）。通常也不建议使用 hostPort: 字段，除非您有充分的理由这样做，所以不要滥用它。

如果您需要容错解决方案，请使用 MetalLB 并为 nginx 入口控制器创建一个 LoadBalancer 类型的服务。

我还没有测试过，但假设您正确配置了 MetalLB，以下应该可以完成这项工作：

kubectl delete svc -n ingress-nginx ingress-nginx-controller
kubectl expose deployment -n ingress-nginx ingress-nginx-controller --type LoadBalancer

ingress-nginx kubernetes nginx-ingress

带有 nginx-ingress 我需要通过 DNS 访问 jupyter-lab 服务我已经为这样的裸机安装了 nginx 入口