问题描述
我正在构建一个小型演示应用程序，以根据来自 Twitter's Sample Stream 端点的推文生成统计信息。每隔一秒 Twitter 就会根据提供的任何 API 参数转储推文的有效负载。我想获取这些有效负载并将它们转储到队列中进行处理。为了可扩展性，我想在考虑并发性的情况下构建它。像 Message Queue 这样的东西是不是有点过头了，还是有更好的模式可以遵循？
解决方法
消息队列可能是一个很好的解决方案。原因是推文可以如此快地到达并且您不希望读取流的线程参与任何其他处理。如果代码没有及时响应，Twitter 流可能会断开连接，您需要重新连接。重新连接也有速率限制，因此在最坏的情况下，很难保持连接并丢失推文。拥有队列可以很容易地将推文转储到队列中并重新读取流。在队列的另一端，您可以添加一些并发代码来高效处理推文。