在 C# 中，如何从 Azure 服务总线队列中获取所有消息？

问题描述

因为我需要删除重复的消息并延迟处理一些“太新”的消息（由消息的最新副本确定），所以我想一次处理服务总线队列的全部内容。

我不确定我可以期待多少条消息，但我非常乐观地认为它通常不应该是数百条，更不用说我认为的数千条消息的限制ReceiveAsync (int maxMessageCount,TimeSpan operationTimeout)。然而，事实证明，无论该值有多高，我只能在一次调用中读取大约 30 到 50 条消息

        private async Task<IList<MicrosoftMessage>> Receive(IQueueConfig queueConfig) =>
                await _messageReceiverLookup.GetMessageReceiver(queueConfig.QueueName)
                    .ReceiveAsync(queueConfig.MaximumRecords,TimeSpan.FromSeconds(10));

我尝试用一些额外的逻辑来包装它，例如：

            List<MicrosoftMessage> messages = new();
            List<MicrosoftMessage> newMessages = new();
            do
            {
                newMessages = await ReceiveMessages(queueHandler,cancellationToken);
                messages.AddRange(newMessages);
            }
            while (
              newMessages.Count > 0 
              && messages.Count > 0 
              &&  messages.Count < queueHandler.QueueConfig.MaximumRecords
            );

但发现这永远不会结束，因为系统会多次读取相同的消息。

然后我尝试了这个：

          Dictionary<string,MicrosoftMessage> previosMessagesByToken;
            Dictionary<string,MicrosoftMessage> allMessagesByToken = new();
            List<MicrosoftMessage> newMessages;
            do
            {
                previosMessagesByToken = allMessagesByToken;

                newMessages = await ReceiveMessages(queueHandler,cancellationToken);
                Dictionary<string,MicrosoftMessage> newMessagesByToken = newMessages.ToDictionary(x => x.SystemProperties.LockToken,x => x);

                // Ensure we only collect each message once!
                allMessagesByToken = allMessagesByToken.Concat(newMessagesByToken.Where(kvp => !allMessagesByToken.ContainsKey(kvp.Key)))
                    .ToDictionary(kvp => kvp.Key,kvp => kvp.Value);
 }
            while (
                    newMessages.Count > 0
                    && allMessagesByToken.Count > previosMessagesByToken.Count
                    && allMessagesByToken.Count < queueHandler.QueueConfig.MaximumRecords
                );

这似乎有效，但一方面，我有直觉认为这不应该如此复杂。此外，我并不完全相信这一点，因为我不完全理解为什么我没有收到所有消息，也不明白为什么我收到重复的消息，所以我不禁觉得这个算法可能会以某种方式允许某些消息介于裂缝，是不包括在内的非重复项。

有没有更好的方法可以让我获取所有消息？

解决方法

一些基本假设：

请求的消息数量不保证是已发送消息的数量。
在 PeekLock 模式下收到的消息将在某个时候锁定过期并会被发送。

如果您的目标是清空所有消息，则您应该完成已收到的消息或以 ReceiveAndDelete 模式接收的消息。这样您就不会再收到相同的消息。如果您尝试查看队列中的消息，则您的 LockDuration 需要足够长以确保所有消息都已被查看。

我需要删除重复的消息并延迟处理一些“太新”的消息（由消息的最新副本确定），我想一次处理服务总线队列的全部内容。>

更大的问题似乎是尝试像处理数据库中的记录一样处理队列中的消息。重复检测已经是 Azure 服务总线的一项功能。延迟消息也是如此。但它需要一种与批处理不同的方法。

azure-servicebus-queues c#c#message-queue receiver