应该为并发 API 调用使用多少工作线程？

编程问答 2022-04-21

问题描述

在我正在使用的 API 上
对 https://example.com/api/projects/8124 端点的 GET 请求返回 JSON 响应，如

{
    "project_name": "Program 1","project_leader": "https://example.com/api/users/324","tech_area": "https://example.com/api/tech_areas/4323","submission_data": "2010-06-15"
}

我对 project_leader、tech_area 的实际值（即它们的名称）感兴趣，因此我为每个项目再进行 2 个 API 调用。

目前，我正在处理大约 700 多个项目，因此总共有 1400 多个 API 调用。

API 响应时间约为 500 毫秒。使用单线程执行此操作，大约需要 10 分钟以上，因此我切换到多线程解决方案。

我在带有 250 个工作线程的 python 中使用“ThreadPoolExecuter”。

问题：

  1. 我应该使用的工作线程的正确数量应该是多少，我该如何决定？

  2. 我的应用程序中的线程数与我的 cpu 中的线程数或内核数有何关系。

感谢您对此的任何见解。谢谢。

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）

cpu-coresmultithreadingmultithreadingpythonpython-multithreadingthreadpoolthreadpool