测试模型时如何在keras中处理InvalidArgumentError？

问题描述

我正在对stanford140 dataset进行情感分析。

我已经用这种架构设计了一个keras模型：

    embedding_layer = layers.Embedding(12995,300,weights=[embedding_vectors],input_length= 50,trainable=False)
    model = keras.models.Sequential()
    model.add(embedding_layer)
    model.add(layers.Conv1D(filters=128,kernel_size=3,activation='relu'))
    model.add(layers.MaxPooling1D(pool_size=2,strides=2))
    model.add(layers.LSTM(100))
    model.add(layers.Dense(64))
    model.add(layers.Dense(1,activation='sigmoid'))

下面的函数显示了我如何创建embedding_vectors（embedding_vectors用于上一段代码的embedding_layer中）

def _create_embedding_vectors(self):
    self.vocab_size = len(self.tokenizer.word_index) + 1
    embedding_vectors = np.zeros((self.vocab_size,300))
    for word,i in self.tokenizer.word_index.items():
      try :
        embedding_vectors[i] = self.w2v[word]
      except KeyError :
        embedding_vectors[i] = np.zeros(300)

    return embedding_vectors 

self.vocab_size是12995，并且已经从self.tokenizer导入了tensorflow.keras.preprocessing.text。 self.w2v是 google新闻预训练的载体。

我训练了我的模型，在训练过程中一切正常。因此，我对模型进行了腌制以备将来使用。

但是在另一个我加载模型并传递一些句子以对其进行分类的文件中，分类器类引发了 InvalidArgumentError 。下面的代码显示分类器类。

class Classifier :
  

  def __init__(self,path_to_model,path_to_tokenizer) :
    self.model = self.load_model(path_to_model)
    self.tokenizer = self.load_tokenizer(path_to_tokenizer)

  

  def text_preprocessor (self,tweet) :
    # remove user mentions 
    tweet =re.sub('\s*@[a-zA-Z0-9]*\s*',' ',tweet) 
    # remove signle character
    tweet =re.sub('\s+[a-zA-Z0-9]\s+',tweet) 
    # remove hashtag sign 
    tweet = re.sub('#','',tweet) 
    # remove underline 
    tweet = re.sub('_',tweet) 
    # remove dash
    tweet = re.sub('-',tweet) 
    # translate &
    tweet = re.sub('&',' and ',tweet)
    # lower
    tweet = tweet.lower()
    # remove punctuation 
    tweet = ' '.join([token for token in nltk.word_tokenize(tweet) if token not in punctuation])
    return tweet


  def load_model(self,path_to_model) :
    return keras.models.load_model(path_to_model)

  def load_tokenizer(self,path_to_tokenizer) :
    with open(path_to_tokenizer,'rb') as file_reader:
      tokenizer = pickle.load(file_reader)
    return tokenizer 

  def transform_tweets(self,tweets) :
    encoded_docs = self.tokenizer.texts_to_sequences(tweets)
    max_length = 50
    x_test = pad_sequences(encoded_docs,maxlen=max_length,padding='post')
    return x_test

  def predict(self,tweets) :
    tweets = list(map(self.text_preprocessor,tweets)) 
    x_test = self.transform_tweets(tweets) 
    y_pred = self.model.predict(x_test)
    return np.round(y_pred)

将一些文本传递给模型以预测其情绪时，我会遇到此错误。

(0) Invalid argument: indices[3,16] = 12399 is not in [0,12210)
 [[node sequential_111/embedding_111/embedding_lookup (defined at <ipython-input-2-71e9b0ec6210>:47) ]]
(1) Invalid argument: indices[3,12210)
 [[node sequential_111/embedding_111/embedding_lookup (defined at <ipython-input-2-71e9b0ec6210>:47) ]] [[sequential_111/embedding_111/embedding_lookup/_6]]

有人可以帮助我避免此错误吗？

解决方法

我将这个错误记录了大约3周。最后，通过省略用于设计模型的代码中的input_length= 50，我避免了该错误:) 下面的代码显示了我如何创建模型。

---

    embedding_layer = layers.Embedding(12995,300,weights=[embedding_vectors],trainable=False)
    model = keras.models.Sequential()
    model.add(embedding_layer)
    model.add(layers.Conv1D(filters=128,kernel_size=3,activation='relu'))
    model.add(layers.MaxPooling1D(pool_size=2,strides=2))
    model.add(layers.LSTM(100))
    model.add(layers.Dense(64))
    model.add(layers.Dense(1,activation='sigmoid'))

希望被此错误所困扰的人使用。