csv文件数据清理过程

问题描述

enter image description here请参阅所附的屏幕截图。我想删除所有包含“未命名”列中条目的行。 我知道该列可以由data.drop(data.columns[27],axis=1,inplace=True)删除，但不会删除整行

import pandas as pd
import numpy as np

data = pd.read_csv('/home/syed/ML-Notebook/FL-P1/DATASET_FRAUDE.csv',engine='python',encoding=('latin1'),parse_dates=['FECHA_SINIESTRO','FECHA_INI_VIGENCIA','FECHA_FIN_VIGENCIA','FECHA_DENUNCIO'])


#data.drop(data.columns[27],inplace=True)

print(data.info())

解决方法

df = df[df['Unnamed: 27'].astype(str).map(len) >0]
df

拖放列：

df = df.loc[:,~df.columns.str.contains('^Unnamed')]

,

要删除有条件的行，您可以执行以下操作：

df = df.drop(df[df.column_name == 'Unnamed'].index)

但是这个问题应该有帮助：Deleting DataFrame row in Pandas based on column value