API 仅从 Kaggle 下载部分数据

问题描述

使用 opendatasets 从参考 kaggle 数据集下载所有内容

但是,我要下载的这个 dataset 是 12.35GB,并且包含其他不会使用的文件夹。

有没有办法只下载一个子目录;在这种情况下lit/? 或者限制从一个文件夹下载多少张照片?基于 n-files、内存大小或文件名的 RegEx;在这种情况下 00000.png 起?

哪些替代库可能支持这一点?

pip install opendatasets
import opendatasets as od
od.download('https://www.kaggle.com/allexmendes/synthetic-human-eyes')#,force=True)
>>> 0%|                                                                                      | 0.00/12.1G [00:00<?,?B/s]
Downloading synthetic-human-eyes.zip to .\synthetic-human-eyes
  0%|▎                                                                          | 47.0M/12.1G [02:55<13:49:39,260kB/s]

下载速度也太慢,无法等待生产。

注意:有时需要 force=True,具体取决于您的环境。我正在使用 Jupyter Notebooks

解决方法

暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!

如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@)