这本质上是对我的answer here内容的重新哈希处理.
使用pd.notnull尝试解决this question时遇到了一些奇怪的行为.
考虑
x = ('A4', nan)
我想检查其中哪些项目为空.直接使用np.isnan会抛出TypeError(但是我已经找到了解决方法).
使用pd.notnull不起作用.
>>> pd.notnull(x)
True
它将元组视为单个值(而不是值的可迭代).此外,将其转换为列表然后进行测试也会给出错误的答案.
>>> pd.notnull(list(x))
array([ True, True])
由于第二个值是nan,所以我要寻找的结果应该是[True,False].预转换为系列后,它终于可以工作了：
>>> pd.Series(x).notnull()
0 True
1 False
dtype: bool
因此,解决方案是对它进行系列化处理,然后测试这些值.
同样,另一种(公认的环形交叉路口)解决方案是将其预转换为对象dtype numpy数组,而pd.notnull或np.isnan将直接起作用：
>>> pd.notnull(np.array(x, dtype=object))
Out[151]: array([True, False])
我想象pd.notnull直接将x转换为幕后的字符串数组,将NaN渲染为字符串“ nan”,因此不再是“ null”值.
pd.notnull在这里做同样的事情吗？还是我应该注意的其他事情呢？
笔记
In [156]: pd.__version__
Out[156]: '0.22.0'
解决方法:
这是与此行为相关的问题：https://github.com/pandas-dev/pandas/issues/20675.
简而言之,如果传递给notnull的参数为list类型,则在内部使用np.asarray方法将其转换为np.array.发生此错误的原因是,如果未指定dtype,则numpy将np.nan转换为字符串(pd.isnull无法将其识别为空值)：
a = ['A4', np.nan]
np.asarray(a)
# array(['A4', 'nan'], dtype='<U3')
