我有一个> 1M行的DataFrame.我想选择某个列包含某个子字符串的所有行：
matching = df['col2'].str.contains('substr', case=True, regex=False)
rows = df[matching].col1.drop_duplicates()
但是这个选择很慢,我想加快速度.假设我只需要前n个结果.是否有办法在获得n个结果后停止匹配？我试过了：
matching = df['col2'].str.contains('substr', case=True, regex=False).head(n)
和：
matching = df['col2'].str.contains('substr', case=True, regex=False).sample(n)
但它们并没有更快.第二个语句是布尔值,并且非常快.我如何加快第一条陈述？
解决方法:
信不信由你,但是.str访问器很慢.您可以使用具有更高性能的列表推导.
df = pd.DataFrame({'col2':np.random.choice(['substring','midstring','nostring','substrate'],100000)})
测试平等
all(df['col2'].str.contains('substr', case=True, regex=False) ==
pd.Series(['substr' in i for i in df['col2']]))
输出：
True
时间：
%timeit df['col2'].str.contains('substr', case=True, regex=False)
10 loops, best of 3: 37.9 ms per loop
与
%timeit pd.Series(['substr' in i for i in df['col2']])
100 loops, best of 3: 19.1 ms per loop
