在有向加权图中查找从起点到所有目的地的最短路径的最快方法

问题描述

背景

我正在对有〜12k节点和〜25k边的有向加权图执行迭代流量分配（ITA）。在ITA的四次迭代的每个阶段，我都必须找到起点和一组目的地（即所有起点）之间的最短路径。伪代码如下所示：

for iteration in iterations:
    for origin in origins:
        paths = find the shortest paths between origin and destinations
        for destination in destinations:
            for each edge between origin and destination:
                assign traffic to edge
            compute some quantities based on path properties

大约有30个节点是起点/终点。我正在使用的代码当前在Python 2.7中使用，并且使用networkx 1.8.1查找起点和所有终点之间的最短路径-具体来说就是函数networkx.single_source_dijkstra_path。

问题

在本地计算机上打一次ITA大约需要6.2秒； ITA运行95％的时间只是找到这些最短的路径。由于graph-tool在查找最短路径per its own documentation方面比networkx快100倍，因此我尝试使用graph-tool函数实现相同的代码。值得注意的是：graph-tool的性能文档是基于与我使用的计算机（MacBook Pro）不同的计算机。

我已经介绍了networkx（Python 2.7中的1.8版）和graph-tool（Python 3.6中的2.35版）的性能，考虑了两个指标：（a）完成一次调用的时间ITA和（b）使用每个数据包中的最短路径功能在起点和目的地之间找到一组路径的平均时间。

• networkx（a）6.2秒（b）0.036秒
  • 使用paths_dict = networkx.single_source_dijkstra_path(G,origin,cutoff=None,weight='t_a')
• graph-tool（a）6.8秒（b）0.050秒
  • 使用paths_dict = {destination:topology.shortest_path(G,destination,weights=G.edge_properties.ta) for destination in od_dict[origin]}，其中拓扑是graphtool。

为什么我的代码中graph-tool比networkx慢？是否有更快的方法在graph-tool中实现单目的地到多个目的地的最短路径搜索？

完整代码

这是使用graph-tool的ITA算法的相关部分。

def test_traffic_assignment_graph_tool():
    iteration_vals = [0.4,0.3,0.2,0.1]  # assign od vals in this amount per iteration. These are recommended values from the Nature paper,http://www.nature.com/srep/2012/121220/srep01001/pdf/srep01001.pdf

    G = gt.load_graph("input/graphMTC_GB.gml")

    original_node_ids = [G.vertex_properties.label[temp] for temp in G.vertices()] # these are the original node IDs (match the networkx graph)
    new_node_ids = [G.vertex_index[v] for v in G.vertices()] # these are the new node IDs assigned by graphtool

    # Create a mapping from original to new node ids -- since G.get_vertices() always returns the same order,it's ok.
    original_to_new = dict(zip(original_node_ids,new_node_ids))
    new_to_original = dict(zip(new_node_ids,original_node_ids))

    demand = bd.build_demand('input/BATS2000_34SuperD_TripTableData.csv','input/superdistricts_centroids_dummies.csv')

    overall_start = time.time()
    paths_time = []

    # sort OD pairs to fix inconsistency across different runs of the traffic assignment
    origins = [int(i) for i in demand.keys()]  # get SD node IDs as integers
    origins.sort()  # sort them
    origins = [str(i) for i in origins]  # make them strings again

    od_dict = bd.build_od(
        demand)

    for i in range(len(iteration_vals)):  # do 4 iterations

        for origin in origins:
            paths_start = time.time()
            paths_dict = {destination:topology.shortest_path(G,original_to_new[origin],original_to_new[destination],weights=G.edge_properties.ta) for destination in od_dict[origin]}
            paths_time.append(time.time() - paths_start)

    overall_end = time.time()

    print('Graphtool total pathfinding time = ',sum(paths_time))
    print('Graphtool average pathfinding time = ',sum(paths_time) / len(paths_time))

解决方法

networkx命令paths_dict = networkx.single_source_dijkstra_path(G,origin,cutoff=None,weight='t_a')一次计算来自origin的所有路径。计算最短路径需要大量的精力，但是如果您要计算多个路径，则会重复很多工作。通过一次计算所有路径，避免了很多重复。

对于给定的原点，设置graph-tool调用的方式是针对每个可能的目标节点重做计算。因此，它会建立所有最短的路径，直到最终找到目标为止。然后重新开始该过程。因此它比networkx代码执行更多的计算。

我对graph-tool不太了解，无法知道它是否可以选择一次将最短路径返回所有可能的目标。