找到一组对的最大总重量

问题描述

我有一组记录 ID 对,对于每一对,这些记录实际上属于彼此的相应概率。每对都是唯一的,但任何给定的 ID 都可能是多个配对的一部分。

例如:

import pandas as pd

df = pd.DataFrame(
    {'ID_1': [1,1,2],'ID_2': [2,4,3,3],'w': [0.5,0.5,0.6,0.7]}
)

df
   ID_1  ID_2    w
0     1     2  0.5
1     1     4  0.5
2     1     3  0.6
3     2     3  0.7

(请注意,由于问题的外部因素,并非每个 ID 都必须分配给其他每个 ID。可以包含这些对并赋予它们 0 的概率。) 我怎样才能找到每个 ID 分配给另一个 ID 不超过一次的配对集(但允许根本不分配一个 ID),从而使配对属于彼此的总体可能性最大化。

我想要执行此操作的数据框非常大,因此将其设置为最大似然问题似乎有点过分。我不是计算机科学家,但我认为可能有一种算法可以解决这个问题 - 在 python 中最佳实现。

我现在的做法是一种贪婪的方式,这可能不一定会导致最佳解决方案。我从排名最高的一对开始。我将它放入最终集合并删除所有涉及集合中任何 ID 的对。我以相同的方式继续处理更新集中的下一个排名较低的对,直到没有对为止。

(如果这实际上是此类问题的错误论坛,请道歉。)

解决方法

一种方法是从使用数据框的基于列-行的模型切换到使用图形模型。有几个 python 库可以做到这一点,包括 NetworkX。 https://pypi.org/project/networkx/

这个想法是你的每一对都成为图中的节点,然后边被分配权重。一旦你有了那个数据结构,你就可以取任何给定的节点并找到最高权重的边。您可以执行各种基于边缘权重的路径算法。

还有另一个 python 库:https://github.com/pgmpy/pgmpy,它建立在 networkx 上,它甚至可以感知概率。它可能有您更需要的东西。

对于这种查询,图形库比尝试使用行列数据结构更有效。