我有一个pandas dataFrame,我想检查一个列是否包含在另一个列中.
假设:
df = DataFrame({'A': ['some text here', 'another text', 'and this'],
'B': ['some', 'somethin', 'this']})
我想检查df.B [0]是否在df.A [0]中,df.B [1]是否在df.A [1]等.
目前的做法
df.apply(lambda x: x[1] in x[0], axis=1)
结果是一系列[真,假,真]
这很好,但对于我的dataFrame形状(它是数百万)它需要很长时间.
是否有更好(即更快)的植入?
Unsuccesfull方法
我尝试了pandas.Series.str.contains方法,但它只能为模式采用字符串.
df['A'].str.contains(df['B'], regex=False)
解决方法:
使用np.vectorize – 绕过应用开销,所以应该更快一点.
v = np.vectorize(lambda x, y: y in x)
v(df.A, df.B)
array([ True, False, True], dtype=bool)
这是一个时间比较 –
df = pd.concat([df] * 10000)
%timeit df.apply(lambda x: x[1] in x[0], axis=1)
1 loop, best of 3: 1.32 s per loop
%timeit v(df.A, df.B)
100 loops, best of 3: 5.55 ms per loop
# Psidom's answer
%timeit [b in a for a, b in zip(df.A, df.B)]
100 loops, best of 3: 3.34 ms per loop
这两个都是非常有竞争力
编辑,为Wen和Max的答案添加时间 –
# Wen's answer
%timeit df.A.replace(dict(zip(df.B.tolist(),[np.nan]*len(df))),regex=True).isnull()
10 loops, best of 3: 49.1 ms per loop
# MaxU's answer
%timeit df['A'].str.split(expand=True).eq(df['B'], axis=0).any(1)
10 loops, best of 3: 87.8 ms per loop