扭曲的python挂在大型多部分消息上

问题描述

在我的公司中，我们使用双绞线和长颈瓶在工业计算机上运行rest api服务。此API部分用于IPC和有限的来自外部源的通信。我们最近发现了一个问题，当通过多部分帖子发送文件时，扭曲会挂起。大约600MB的文件会扭曲扭曲40-50秒左右，此期间将不处理任何请求。

我应该说我不是Web开发人员，我正在学习。我已经分析了问题，并将其隔离到多部分消息的组合中，flask也挂在该消息上，但不阻止消息。对于相同/相似的问题，有一些错误报告：https://twistedmatrix.com/trac/ticket/5511。问题是这些来自8年前，并且我不关心流媒体，或者至少我不认为自己是流媒体。

是不是很幸运？我认为有什么事情可以做的吗？我认为这可能是配置问题。或者也许是扭曲的替代品，奇怪的是，flask随附的WSGI没有这个问题，但是它不是用于生产的，因此不是一种选择。

解决方法

除了实施解决问题的方法之外，您可能确实很不幸。您注意到Twisted问题的原因是，几乎可以肯定您的Twisted Web服务器完全是单线程的（这是默认设置，否则需要一些不小的努力）。当单个Twisted反应器线程开始解析庞大的上传文件时，只有在它完成了对该庞大上传文件的解析之后，其他任何内容都无法提供。正如您所发现的那样，解析器非常慢。

对于基于WSGI的服务器，您不会观察到此问题（至少在相同条件下不会），因为这些服务器正在运行多个线程或进程。当一个客户端上载大文件时，这些线程或进程之一可能会阻塞一段时间，但其他线程或进程可以继续为其他请求提供服务。如果每个线程或进程只有一个客户端，而这些客户端都上载了一个大文件，则您仍将阻止所有线程/进程，并且在这些线程/进程完成该工作之前，其他客户端将无法得到服务。

正如我在顶部所说，这并非不可能解决。可以将其固定为Twisted，以便在完全完成反应堆线程之前，形式分析不会阻塞反应堆线程。可能还有其他解决方案。例如，您可能能够运行多个Twisted Web进程（也许共享一个侦听套接字以使其对客户端透明），以便其行为至少与您观察到的WSGI服务器一样。