问题描述
我正在尝试从互联网获取数据。我不确定我是否做得正确。 我写了一个函数：
def scrape(url):
...[some codes here to get my data]
return(df)
它从网址返回熊猫数据框。
然后我尝试使用多线程：
urls = [url+str(i) for i in range(30)]
with ThreadPoolExecutor() as threads:
df = pd.concat(threads.map(scrape,urls)) # I need to concat my df data
所以我的问题是：
- 我可以正确进行多线程吗？什么是max_workers选项？我该如何修复它以加快程序运行速度？
- 如何添加tdqm进度条以了解其是否有效？ （虽然可以，但是需要5分钟，但我想遵循我的程序）
谢谢
解决方法
暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！
如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。
小编邮箱:dio#foxmail.com (将#修改为@）