删除两个数据集pandas之间不匹配的行

编程问答 2022-04-23

问题描述

我有 2 个非常大的数据集，每列有 5 列（h、k、l、强度、西格玛）。我想仅就 h、k、l 值逐行比较它们。然后我需要从每个数据集中删除不匹配的行，并只用具有相同 h、k、l 值的匹配行重写每个数据集。我正在使用 datacompy，但不确定如何继续获得最终输出。

解决方法

  • 你真的在描述和内连接（关系理论术语）
  • 在pandas中，这是一个带有merge()
    • 的kind="inner" 
df1 = pd.DataFrame(
    {
        "h": range(0,100,2),"k": range(0,200,4),"l": range(0,400,8),"intensity": np.random.uniform(1,5,50),"sigma": np.random.uniform(0,1,}
)

df2 = pd.DataFrame(
    {
        "h": range(0,800,16),}
)

# get intersecting rows... in this case 25
df1 = pd.merge(df1,df2.loc[:,["h","k","l"]],on=["h","l"],how="inner")

# get intersecting rows... again 25 rows
df2 = pd.merge(df1.loc[:,df2,how="inner")
comparecomparedataframedropdropdroppandaspandaspython