问题描述
我想使用列名称“Year”、“Item”和“$”对下表进行逆透视。我的解决方法是将表分成两个数据框并删除后缀,然后垂直连接两列。有没有其他更简单的方法来解决这个问题?
示例数据框:
data = {'Year_x': [1993,1994,1995,1996],'Year_y': [2000,2001,2002,2003],'Item_x':['A','B','C','D'],'Item_y':['E','F','G','H'],'$':[3,4,5,6]}
pd.DataFrame.from_dict(data)
Year_x | Year_y | Item_x | Item_y | $ |
---|---|---|---|---|
1993 | 2000 | A | E | 3 |
1994 | 2001 | B | F | 4 |
1995 | 2002 | C | G | 5 |
1996 | 2003 | D | H | 6 |
我想要达到的目标:
年份 | 项目 | $ |
---|---|---|
1993 | A | 3 |
1994 | B | 4 |
1995 | C | 5 |
1995 | D | 6 |
2000 | E | 3 |
2001 | F | 4 |
2002 | G | 5 |
2003 | H | 6 |
解决方法
使用 DataFrame.set_index
将没有分隔符的列 _
转换为索引,然后将列名称拆分为 MultiIndex
:
cols = ['$']
#if multiple columns
cols = ['$','$Column1','$Column2']
df1 = df.set_index(cols)
df1.columns = df1.columns.str.split('_',expand=True)
df1 = (df1.stack()
.sort_values(['Item','Year'])
.reset_index()[['Year','Item'] + cols])
print (df1)
Year Item $
0 1993 A 3
1 1994 B 4
2 1995 C 5
3 1996 D 6
4 2000 E 3
5 2001 F 4
6 2002 G 5
7 2003 H 6
,
与列表理解的串联
>>> pd.concat([df[["Year_" + c,"Item_" + c,"$"]].rename({"Year_" + c : "Year","Item_" + c : "Item"},axis=1) for c in ("x","y")]).reset_index(drop=True)
Year Item $
0 1993 A 3
1 1994 B 4
2 1995 C 5
3 1996 D 6
4 2000 E 3
5 2001 F 4
6 2002 G 5
7 2003 H 6
或者,通过pd.wide_to_long(...)
>>> pd.wide_to_long(df,["Year","Item"],i=["$"],j="Var",sep="_",suffix="\w+").reset_index()
$ Var Year Item
0 3 x 1993 A
1 4 x 1994 B
2 5 x 1995 C
3 6 x 1996 D
4 3 y 2000 E
5 4 y 2001 F
6 5 y 2002 G
7 6 y 2003 H
,
- step1,找到列的后缀
df_col = pd.DataFrame(df.columns.str.split('_').tolist())
df_col['col'] = df.columns.tolist()
print(df_col)
# 0 1 col
# 0 Year x Year_x
# 1 Year y Year_y
# 2 Item x Item_x
# 3 Item y Item_y
# 4 $ None $
- step2,处理输出列
cond = df_col[1].isnull()
cols_without_subfix = df_col.loc[cond,'col'].tolist()
obj = df_col[~cond].groupby(1)['col'].agg(list)
obj = obj.map(lambda x: x + cols_without_subfix)
print(obj)
# 1
# x [Year_x,Item_x,$]
# y [Year_y,Item_y,$]
# Name: col,dtype: object
- step3,迭代输出列并连接它们。
df_list = []
for i in obj:
dfn = df[i]
dfn.columns = dfn.columns.str.split('_').str[0]
df_list.append(dfn)
df_output = pd.concat(df_list)
print(df_output)
# Year Item $
# 0 1993 A 3
# 1 1994 B 4
# 2 1995 C 5
# 3 1996 D 6
# 0 2000 E 3
# 1 2001 F 4
# 2 2002 G 5
# 3 2003 H 6