适用于发布/订阅,单向和竞争消费者的Aeron消息传递模式

问题描述

目前,我正在为我们的高频交易用例评估Aeron。正如我从documentationm中看到的那样,Aeron基本上就是运输工具。那是一些更高级的实现,例如与RabbitMQ竞争的消费者,公平的调度或模式吗?

谢谢

解决方法

简短的回答是“否”。

更长和更复杂的答案是,您可以在Aeron之上构建一些东西来实施竞争性的消费者/公平派遣。主要挑战是您需要某种机制来管理消费者之间的协调。消费者分布越广泛,情况就越复杂。

单进程(多线程)

在这种情况下,一个生产者,多个消费者队列可能就足够了。从Aeron读取一个线程,即可复制和排队消息,而使用者则从队列中读取消息。 Agrona库(与Aeron一起提供)具有一些快速的队列实现。

单主机

类似于单个进程,您将需要与队列相似的东西,但是需要使用共享内存或类似的东西来实现。我知道没有什么可以做的。

多个主机

要管理此问题,需要某种中央经纪人来管理工作分配,确认,重新交付等。此服务将需要冗余,以确保如果经纪人本身失败,则处理可以继续。可以想象,您可以在Aeron Archive和Cluster之上构建类似的内容,但是我不建议这样做。还有其他需要较少协调开销的解决方案,例如通过业务密钥进行分区。

,

不。竞争消费者不适用于交易应用程序。实际上,我已经看到许多交易应用程序试图适应类似的模式(即SEDA框架),但是它并不能解决并发问题。

为了使竞争的消费者能够工作,任务是独立的并且可以并行运行。在交易应用程序中,您无法执行此操作,因为订单只能在单个时间点处理一个事件。我们通常会反过来解决问题-使线程对特定顺序具有亲和力,并确保每个事件都由同一线程处理-这样您就可以实现顺序处理。

IMO-Aeron,24West LBM提供了一种快速,有序/有序的事件交付方式。您想在可靠模式下运行(LBM-UME和Aeron集群),这样就不会损失任何交易。多播确实非常有效-编写一次即可随处使用。由于您可以卸载非关键流程,因此该模式适用于交易系统。您可以使用“共享内存”来实现此目的,但是您受到单个物理服务器的限制。您可以认为“ aeron”具有实时复制共享内存的功能。

此外,您将遇到物理边界-因此,通常您必须使用“负载平衡器”将订单定向到特定服务器-与服务器内的线程亲和力相同。举一个具体的例子,期权市场数据量很大-因此您想限制市场数据的处理/消耗量。因此,您希望相关符号的订单由同一台物理服务器处理。