Sklearn管道中的自定义预处理器

问题描述

我正在构建机器学习模型管道。我有一个自定义函数，它将更改特定列的值。我已经定义了自定义转换器，并且可以单独正常工作。但是，如果我从管道中调用它，则会抛出错误。

示例数据框

df = pd.DataFrame({'y': [4,5,6],'a':[3,2,3],'b' : [2,3,4]})

import numpy as np
import pandas as pd
import sklearn
from sklearn.base import BaseEstimator,TransformerMixin
from sklearn.pipeline import Pipeline
from sklearn.compose import ColumnTransformer

class Extractor(BaseEstimator,TransformerMixin):
  def __init__(self):
    return None
  def fit(self,x,y=None):
    return self
  def map_values(self,x):
    if x in [1.0,2.0,3.0]:
      return "Class A"
    if x in [4.0,5.0,6.0]:
      return "Class B"
    if x in [7.0,8.0]:
      return "Class C"
    if x in [9.0,10.0]:
      return "Class D"
    else:
      return "Other"
  def transform(self,X):
    return self
  def fit_transform(self,X):
    X = X.copy()
    X = X.apply(lambda x : self.map_values(x))
    return X

e = Extractor()
e.fit_transform(df['a'])
0    Class A
1     Clas C
2      Other
3    Class B
Name: a,dtype: object

管道

features = ['a']
numeric_features=['b']

numeric_transformer = Pipeline(steps=[
    ('imputer',SimpleImputer(strategy='median'))])
custom_transformer = Pipeline(steps=[
    ('map_value',Extractor())])

preprocessor = ColumnTransformer(
    transformers=[
        ('num',numeric_transformer,numeric_features),('time',custom_transformer,features)])

X_new = df[['a','b']]
y_new = df['y']

X_transform = preprocessor.fit_transform(X_new,y_new)

TypeError: All estimators should implement fit and transform,or can be 'drop' or 'passthrough' specifiers. 'Pipeline(steps=[('map_value',Extractor())])' (type <class 'sklearn.pipeline.Pipeline'>) doesn't.

我想让自定义处理器在管道中工作。

解决方法

所以我尝试使用您的代码并发现了一些问题。下面是更新的代码和一些说明。

首先，在复制粘贴代码并为SimpleImputer添加丢失的导入之后，我无法重现您的错误。相反，它显示了错误：“ TypeError：fit_transform（）接受2个位置参数，但给出了3个位置参数”。经过研究，我发现了此修复程序here，并调整了您的方法。

但是现在它返回了错误：“ ValueError：系列的真值不明确。请使用a.empty，a.bool（），a.item（），a.any（）或a.all（） 。”

问题是，您的提取器需要/期望一个Pandas.Series，其中每个条目都是一个数字，以便可以将其映射到您的一个类。因此，这意味着其像列表一样是一维的。基本上与[3,2,3]的df ['a']配合使用会很好。

但是当您尝试使用df [[''a'，'b']]时，将使用两列，这意味着有两个列表，一个是[3,3]，另一个是b是[2,3,4]。

因此，在这里您需要确定您希望提取器实际执行的操作。我的第一个想法是，您可以将a和b放入列表中，使其形成[3,4]，但随后您将得到6个类，而这三个类不匹配y个条目。

因此，我相信您想实现某种方法，该方法需要一个类列表，并可能选择代表最多的类或某些东西。

例如，您需要将a [0]和b [0]映射到y [0]，因此A类和A类= 4（以与y [0]匹配）。

import numpy as np
import pandas as pd
import sklearn
from sklearn.base import BaseEstimator,TransformerMixin
from sklearn.pipeline import Pipeline
from sklearn.compose import ColumnTransformer
# Added import
from sklearn.impute import SimpleImputer

class Extractor(BaseEstimator,TransformerMixin):
  def __init__(self):
    return None
  def fit(self,x,y=None):
    return self
  def map_values(self,x):
    if x in [1.0,2.0,3.0]:
      return "Class A"
    if x in [4.0,5.0,6.0]:
      return "Class B"
    if x in [7.0,8.0]:
      return "Class C"
    if x in [9.0,10.0]:
      return "Class D"
    else:
      return "Other"

  def transform(self,X):
    return self

  def fit_transform(self,X,y=0):
    # TypeError: fit_transform() takes 2 positional arguments but 3 were given
    # Adjusted: https://intellipaat.com/community/2966/fittransform-takes-2-positional-arguments-but-3-were-given-with-labelbinarizer

    # ValueError: The truth value of a Series is ambiguous. Use a.empty,a.bool(),a.item(),a.any() or a.all().
    # -> compare df['a'].shape and X_new.shape. df['a'] is basically [3,3] and X_new is [[3,3],[2,4]]. Using X_new['a'] or X_new['b'] works. 
    # But with both columns,its not clear which should be mapped -> therefore ambiguous
    X = X.copy()
    X = X.apply(lambda x : self.map_values(x))
    return X

df = pd.DataFrame({'y': [4,5,6],'a':[3,'b' : [2,4]})

e = Extractor()
e.fit_transform(df['a'])


features = ['a']
numeric_features=['b']

numeric_transformer = Pipeline(steps=[
    ('imputer',SimpleImputer(strategy='median'))])
custom_transformer = Pipeline(steps=[
    ('map_value',Extractor())])

preprocessor = ColumnTransformer(
    transformers=[
        ('num',numeric_transformer,numeric_features),('time',custom_transformer,features)])

X_new = df[['a','b']]
y_new = df['y']

# Triedpd.Series(X_new.values.flatten().tolist()),but tuple index out of range,because of course there are 6 x and only 3 y values now.
X_transform = preprocessor.fit_transform(pd.Series(X_new.values.flatten().tolist()),y_new)