如何将经过训练的拥抱面RagRetriever数据集下载到自定义目录

问题描述

我正在玩来自Facebook(拥抱脸)https://huggingface.co/facebook/rag-token-nq#usage的RAG示例。

这里有一个很好的解释:https://ai.facebook.com/blog/retrieval-augmented-generation-streamlining-the-creation-of-intelligent-natural-language-processing-models/

代码非常简单,但是在此步骤中下载的数据集有点大(75GB):

retriever = RagRetriever.from_pretrained("facebook/rag-token-nq",index_name="exact",use_dummy_dataset=True)

它将在/root/.cache/huggingface/datasets/中下载数据集,如果可能的话,我想对其进行更改。这行代码输出是:

Downloading and preparing dataset wiki_dpr/psgs_w100.nq.no_index (download: UnkNown size,generated: UnkNown size,post-processed: UnkNown size,total: UnkNown size) to /root/.cache/huggingface/datasets/wiki_dpr/

我的问题是:如何将文件夹更改为将RagRetriever.from_pretrained(75GB的一个)下载的数据集下载到root/.cache/huggingface/datasets/ .

以外的另一个文件夹中

谢谢!。

解决方法

暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!

如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@)