问题描述
我正在设置在 kubernetes pod 上运行的服务，并通过拉订阅订阅发布/订阅主题。该服务将使用推送到主题的消息。
现在我将我的 pod 扩展到 10 个副本，并观察到有时当有新消息推送到主题时，几个 pod 会同时收到消息。不是 pod 1 在 ackDeadline 之前没有 ack 并且消息被 pod 2 再次拉取的情况，而是 pod 1 和 pod 2 在毫秒内收到相同的消息。
如何设置我的订阅/kubernetes，以便一次只有一个 Pod 接收和处理消息？
解决方法
目前没有针对 Pub/Sub 的 QOS 2（交付一次且仅交付一次），因此不幸的是，无法开箱即用。
官方文档在这里：https://cloud.google.com/pubsub/docs/subscriber
建议的方法是使用 Apache Beam 的模型，而不是使用时间窗口来确保您所谈论的内容。 Google 有 Dataflow，它是托管 Apache Beam 的一个选项。
另一种方法（可能很大），你可以自己实现，是在内存中的某个地方（可能在你从 Kubernetes 访问的 Memorystore 中）有一个变量来跟踪最后确认的时间戳，并且使用来自 Pub/Sub 的有序列表。因此，每个 pod 都会（按顺序）从 Pub/Sub 获取，并且您将依赖共享内存中的变量来获取最后一条确认消息，而不是 Pub/Sub 的机制。显然，您仍然希望在 K8s 中处理每条消息时对其进行确认，但现在您还需要在 Memorystore 中设置变量。
我相信应该缩小重入问题的窗口，但它仍然存在（访问变量和设置变量之间的延迟仍然足够大，您可以对消息进行双重处理）。
这就是为什么推荐的方法是通过 Beam 开窗的原因。 Dataflow 也可以任意放大，所以从性能的角度来看，它可能与 Kubernetes 相同，但它是 Beam，所以要学习不同的技术堆栈，它并不简单，但它是这项特定工作的工具。