问题描述
我在尝试在 kubernetes 集群中的两个服务之间进行通信时遇到问题。我们使用 kong ingress 对象作为“api 网关”来重新路由 http 从简单的 Angular 前端调用以将其发送到 .NET Core 3.1 API 控制器接口后端。
在这两个 ClusterIP 服务前面有一个入口控制器，用于从我们的 kubernetes 集群接收外部 http(s) 调用来启动前端服务。此入口显示在此处：
apiVersion: extensions/v1beta1
kind: Ingress
Metadata:
name: ingress-Nginx
namespace: kong
annotations:
kubernetes.io/ingress.class: Nginx
Nginx.ingress.kubernetes.io/ssl-redirect: "false"
Nginx.ingress.kubernetes.io/rewrite-target: /
spec:
rules:
- host: app.***.*******.com << Obfuscated
http:
paths:
- path: /
backend:
serviceName: frontend-service
servicePort: 80
第一个服务称为“frontend-service”，这是一个简单的 Angular 9 前端，它允许我输入 http 字符串并将这些字符串提交给后端。
清单 yaml 文件如下所示。请注意，图像名称因各种原因被混淆。
apiVersion: apps/v1
kind: Deployment
Metadata:
name: frontend
namespace: kong
labels:
app: frontend
spec:
replicas: 1
selector:
matchLabels:
app: frontend
template:
Metadata:
labels:
app: frontend
spec:
imagePullSecrets:
- name: regcred
containers:
- name: frontend
image: ***********/*******************:**** << Obfuscated
ports:
- containerPort: 80
---
apiVersion: v1
kind: Service
Metadata:
namespace: kong
name: frontend-service
spec:
type: ClusterIP
selector:
app: frontend
ports:
- port: 80
targetPort: 80
protocol: TCP
第二个服务是一个简单的 .NET Core 3.1 API 接口，它在到达控制器时打印回一些文本。后端服务称为“dataapi”，其中包含一个名为 ValuesController 的简单控制器。
用于此的清单 yaml 文件如下所示。
replicas: 1
selector:
matchLabels:
app: dataapi
template:
Metadata:
labels:
app: dataapi
spec:
imagePullSecrets:
- name: regcred
containers:
- name: dataapi
image: ***********/*******************:**** << Obfuscated
ports:
- containerPort: 80
---
apiVersion: v1
kind: Service
Metadata:
name: dataapi
namespace: kong
labels:
app: dataapi
spec:
ports:
- port: 80
name: http
targetPort: 80
selector:
app: dataapi
我们使用 kong ingress 作为代理将传入的 http 调用重定向到 dataapi 服务。此清单文件如下所示：
apiVersion: networking.k8s.io/v1
kind: Ingress
Metadata:
name: kong-gateway
namespace: kong
spec:
ingressClassName: kong
rules:
- http:
paths:
- path: /dataapi
pathType: Prefix
backend:
service:
name: dataapi
port:
number: 80
执行“kubectl get all”会产生以下输出：
kubectl get all
NAME READY STATUS RESTARTS AGE
pod/dataapi-dbc8bbb69-mzmdc 1/1 Running 0 2d2h
pod/frontend-5d5ffcdfb7-kqxq9 1/1 Running 0 65m
pod/ingress-kong-56f8f44fd5-rwr9j 2/2 Running 0 6d
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
service/dataapi ClusterIP 10.128.72.137 <none> 80/TCP,443/TCP 2d2h
service/frontend-service ClusterIP 10.128.44.109 <none> 80/TCP 2d
service/kong-proxy LoadBalancer 10.128.246.165 XX.XX.XX.XX 80:31289/TCP,443:31202/TCP 6d
service/kong-validation-webhook ClusterIP 10.128.138.44 <none> 443/TCP 6d
NAME READY UP-TO-DATE AVAILABLE AGE
deployment.apps/dataapi 1/1 1 1 2d2h
deployment.apps/frontend 1/1 1 1 2d
deployment.apps/ingress-kong 1/1 1 1 6d
NAME DESIRED CURRENT READY AGE
replicaset.apps/dataapi-dbc8bbb69 1 1 1 2d2h
replicaset.apps/frontend-59bf9c75dc 0 0 0 25h
replicaset.apps/ingress-kong-56f8f44fd5 1 1 1 6d
和 'kubectl get ingresses' 给出：
NAME CLASS HOSTS (Obfuscated)
ingress-Nginx <none> ***.******.com,**.********.com,**.****.com,**.******.com + 1 more... xx.xx.xxx.xx 80 6d ADDRESS PORTS AGE
kong-gateway kong * xx.xx.xxx.xx 80 2d2h
从前端，期望是构造http字符串：
http://kong-proxy/dataapi/api/values
将在后端输入我们的“值”控制器并从该控制器返回文本字符串。
两个服务都运行在同一个 kubernetes 集群上，这里使用的是 Linode。我们的想法是，它是两个 ClusterIP 类型的服务之间的“集群内”通信。
Chrome 控制台报的错误是：
zone-evergreen.js:2828 GET http://kong-proxy/dataapi/api/values net::ERR_NAME_NOT_RESOLVED
请注意，我们发现了与我们类似的 StackOverflow issue，并且该结果中的建议是将“default.svc.cluster.local”添加到 http 字符串中，如下所示：
http://kong-proxy.default.svc.cluster.local/dataapi/api/values
这没有用。我们还用服务的命名空间 kong 替换为默认值，如下所示：
http://kong-proxy.kong.svc.cluster.local/dataapi/api/values
产生与上述相同的错误。
是否有我遗漏的关键步骤？非常感谢任何建议！
*************** 来自 Eric Gagnon 回复的更新 **************
再次感谢 Eric 的回复。以下是我和我的同事根据您的建议尝试的方法
kubectl exec -i -t -n kong frontend-simple-deployment-7b8b9cfb44-f2shk -- cat /etc/resolv.conf
nameserver 10.128.0.10
search kong.svc.cluster.local svc.cluster.local cluster.local members.linode.com
options ndots:5
kubectl get -n kube-system svc
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
kube-dns ClusterIP 10.128.0.10 <none> 53/UDP,53/TCP,9153/TCP 55d
kubectl describe -n kube-system svc kube-dns
Name: kube-dns
Namespace: kube-system
Labels: k8s-app=kube-dns
kubernetes.io/cluster-service=true
kubernetes.io/name=KubednS
Annotations: lke.linode.com/caplke-version: v1.19.9-001
prometheus.io/port: 9153
prometheus.io/scrape: true
Selector: k8s-app=kube-dns
Type: ClusterIP
IP: 10.128.0.10
Port: dns 53/UDP
TargetPort: 53/UDP
Endpoints: 10.2.4.10:53,10.2.4.14:53
Port: dns-tcp 53/TCP
TargetPort: 53/TCP
Endpoints: 10.2.4.10:53,10.2.4.14:53
Port: metrics 9153/TCP
TargetPort: 9153/TCP
Endpoints: 10.2.4.10:9153,10.2.4.14:9153
Session Affinity: None
Events: <none>
- App 不使用 pod dns：在 Node 中，将 dns.getServers() 输出到控制台
I do not understand where and how to do this. We tried to add DNS directly inside our Angular frontend app,but we found out it is not possible to add this.
- Kong-proxy 不喜欢某些东西：设置日志调试、多次点击应用程序和 grep 日志。
我们在这里尝试了两个测试。首先，可以从入口控制器访问我们的 kong-proxy 服务。请注意，这不是我们简单的前端应用程序。它只不过是一个代理，将一个 http 字符串传递给我们设置的公共网关。这确实有效。我们已经通过以下方式公开了这一点：
http://gateway.cwg.stratbore.com/test/api/test
["Successfully pinged Test controller!!"]
kubectl logs -n kong ingress-kong-56f8f44fd5-rwr9j | grep test
10.2.4.11 - - [16/Apr/2021:16:03:42 +0000] "GET /test/api/test HTTP/1.1" 200 52 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML,like Gecko) Chrome/89.0.4389.128 Safari/537.36"
So this works.
但是当我们尝试从与后端运行在同一集群中的简单前端界面执行此操作时：
kubectl logs -n kong ingress-kong-56f8f44fd5-rwr9j | grep test
前端返回错误。
但是如果我们添加这个 http 文本：
kong-ingress pod 被击中：
kubectl logs -n kong ingress-kong-56f8f44fd5-rwr9j | grep test
10.2.4.11 - - [16/Apr/2021:16:03:42 +0000] "GET /test/api/test HTTP/1.1" 200 52 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML,like Gecko) Chrome/89.0.4389.128 Safari/537.36"
10.2.4.11 - - [17/Apr/2021:16:55:50 +0000] "GET /test/api/test HTTP/1.1" 200 52 "http://app-basic.cwg.stratbore.com/" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML,like Gecko) Chrome/89.0.4389.128 Safari/537.36"
但前端返回错误。
所以在这一点上，我们已经尝试了很多方法来让我们的前端应用程序成功地向我们的后端发送一个 http 并得到响应，但我们没有成功。我还尝试了与我们的前端应用程序一起打包的 Nginx.conf 文件的各种配置，但也没有运气。
我准备将所有这些打包到一个 github 项目中。谢谢。
解决方法
克里斯
我没有使用过 linode 或 kong，也不知道你的前端实际上是做什么的，所以我只会指出我能看到的：
-
最简单的 dns 检查是 curl（或 ping、dig 等）：
- http://[dataapi's pod ip]:80 来自主机节点
- http://[kong-proxy svc 的内部 ip]/dataapi/api/values 来自主机节点（或其他 pod - 见下文）
-
nginx 入口控制器上的默认路径匹配是 pathPrefix，因此您的 nginx 入口与路径：/ 和 nginx.ingress.kubernetes.io/rewrite-target:/ 实际上匹配所有内容并重写为 /。如果您正确指定所有入口，这可能不是问题，因此它们优先于“/”。
-
您说“使用 kong 入口作为代理重定向传入”，只是想确保您正在代理（而不是重定向客户端）。
-
chrome 是否只是从前端服务转发其上游错误？外部客户端应该无法解析集群的 url（除非您已将本地计算机加入集群网络或执行了其他一些花哨的技巧）。默认情况下，dns 只在集群内工作。
-
集群 dns 通常遵循 [服务名称].[命名空间名称].svc.cluster.local。如果 dns 集群 dns 正在工作，那么从集群中的 pod 使用 curl、ping、wget 等并将其指向该 svc 会将其发送到集群 svc ip，而不是外部 ip。
-
您的 dataapi 服务是否配置为响应 /dataapi/api/values 或者它不关心 uri 是什么？
如果你没有任何限制命名空间内流量的网络策略，你应该能够在同一个命名空间中创建一个测试 pod，并直接 curl 服务 dns 和 pod ip：
apiVersion: v1
kind: Pod
metadata:
name: curl-test
namespace: kong
spec:
containers:
- name: curl-test
image: buildpack-deps
imagePullPolicy: Always
command:
- "curl"
- "-v"
- "http://dataapi:80/dataapi/api/values"
#nodeSelector:
# kubernetes.io/hostname: [a more different node's hostname]
pod 应该尝试从集群进行 dns 解析。所以它应该找到dataapi的svc ip和curl port 80 path /dataapi/api/values。服务 IP 是虚拟的，因此它们实际上并不“可达”。相反，iptables 将它们路由到 pod ip，它有一个实际的网络端点并且是可寻址的。
一旦完成，只需检查日志：kubectl logs curl-test，然后将其删除。
如果失败，日志中的失败性质应该会告诉您是 dns 还是链接问题。如果它有效，那么您可能没有集群 dns 问题。但您可能遇到节点间通信问题。要对此进行测试，您可以运行与上述相同的清单，但取消注释节点选择器字段以强制它在与您的 kong-proxy pod 不同的节点上运行。这是一种手动方法，但可以快速排除故障。只需冲洗并根据需要为其他节点重复。
当然，可能不是这些，但希望这有助于解决问题。
,经过 Eric G（谢谢！）的大量帮助，并阅读了 this previous StackOverflow，我终于解决了这个问题。正如此链接中的答案所示，我们的前端 Pod 在 Web 浏览器中提供我们的应用程序，该浏览器一无所知关于 Kubernetes 集群。
如链接所示，我们在 nginx 入口中添加了另一条规则，以成功将我们的 http 请求路由到适当的服务
- host: gateway.*******.com
http:
paths:
- path: /
pathType: Prefix
backend:
service:
name: gateway-service
port:
number: 80
然后从我们的 Angular 前端，我们发送我们的 HTTP 请求如下：
...
http.get<string>("http://gateway.*******.com/api/name_of_contoller');
...
我们终于能够以我们想要的方式与我们的后端服务进行通信。前端和后端都在同一个 Kubernetes 集群中。