FileNotFoundError: [Errno 2] 没有这样的文件或目录：'.data/multi30k/train.fr' 导入种子分词器 spacy字段抛出错误的单元格

问题描述

我正在尝试使用 google colab 加载 Multi30k torchtext 数据集。当我加载 .de 时它工作正常，但是一旦我从 .de 更改，我就会收到此错误：

FileNotFoundError: [Errno 2] No such file or directory: '.data/multi30k/train.fr'

这就是我加载 .de 的方式并且它起作用了：

train_data,valid_data,test_data = datasets.Multi30k.splits(
    root=".data",exts=('.de','.en'),fields = (SRC,TRG),)

一旦我通过将 .de 更改为 .fr 来更改此代码，错误就会增加：

train_data,exts=('.fr',)

导入

import torch
from torch import nn
from torch.nn  import functional as F
import spacy,math,random
import numpy as np
from torchtext.legacy import datasets,data
import time
from prettytable import prettytable
from matplotlib import pyplot as plt

种子

SEED = 42
np.random.seed(SEED)
torch.manual_seed(SEED)
random.seed(SEED)
torch.cuda.manual_seed(SEED)
torch.backends.cudnn.deteministic = True

分词器 spacy

import spacy
spacy.cli.download('fr_core_news_sm')

spacy_fr = spacy.load('fr_core_news_sm')
spacy_en = spacy.load('en_core_web_sm')

def tokenize_fr(sent):
  return [tok.text for tok in spacy_fr.tokenizer(sent)]

def tokenize_en(sent):
  return [tok.text for tok in spacy_en.tokenizer(sent)]

字段

SRC = data.Field(
    tokenize= tokenize_fr,lower= True,init_token = "<sos>",eos_token = "<eos>",include_lengths =True
)

TRG = data.Field(
    tokenize = tokenize_en,eos_token = "<eos>"
)

抛出错误的单元格

train_data,)

解决方法

这是因为数据集本身中没有 train.fr 文件。

如果您列出 pytorch 下载的内容，

$ !ls -al .data/multi30k
total 5.4M
drwxr-xr-x 2 root root 4.0K Jul 15 14:26 .
drwxr-xr-x 3 root root 4.0K Jul 15 14:26 ..
-rw-r--r-- 1 root root  65K Jul 15 14:26 mmt_task1_test2016.tar.gz
-rw-rw-r-- 1 1000 1000  69K Oct 17  2016 test2016.de
-rw-rw-r-- 1 1000 1000  61K Oct 17  2016 test2016.en
-rw-rw-r-- 1 1000 1000  71K Feb 11  2017 test2016.fr
-rw-rw-r-- 1 1000 1000 2.1M Feb  2  2016 train.de
-rw-rw-r-- 1 1000 1000 1.8M Feb  2  2016 train.en
-rw-r--r-- 1 root root 1.2M Jul 15 14:26 training.tar.gz
-rw-rw-r-- 1 1000 1000  75K Feb  2  2016 val.de
-rw-rw-r-- 1 1000 1000  62K Feb  2  2016 val.en
-rw-r--r-- 1 root root  46K Jul 15 14:26 validation.tar.gz