优化嵌套列表的子集操作

问题描述

是否可以提高此代码中最后一个子集操作的速度？ 此代码获取一小部分Open Streetmap数据，搜索所有具有名称的道路，并创建一个仅包含道路的新 osm 对象。 我在优化代码的最后一点时心烦意乱：

{
  "name": "ex-website","version": "1.0.0","scripts": {
    "start": "node server.js"
  },"dependencies": {
    "express": "^4.17.1"
  },"main": "server.js","devDependencies": {},"author": "","license": "ISC","description": ""
}

class（muc）

[1]“ osmar”“列表”

muc是一个列表列表，该列表的每个元素都有一个用于创建子集的ID。

这是完整的示例：

highway_subset <- subset(muc,ids = highway_subset_ids)

非常感谢您。

更新

如果您在使用ssl时遇到问题，请尝试复制并粘贴以下代码示例。这是我所能做到的最低要求。

我要优化的一行是这一行：

最终子集

library("osmar")
src <- osmsource_api(url = "https://api.openstreetmap.org/api/0.6/")
muc_bbox <- center_bbox(11.575278,48.137222,1000,1000)
muc <- get_osm(muc_bbox,src)

highway_subset_ids <- subset(muc,way_ids = find(muc,way(tags(k == "highway"))))
highway_subset_ids <- find(highway_subset_ids,way(tags(k == "name")))
highway_subset_ids <- find_down(muc,way(highway_subset_ids))
highway_subset <- subset(muc,ids = highway_subset_ids)

谢谢！

解决方法

我分析了您的代码

library("osmar")
src <- osmsource_api(url = "https://api.openstreetmap.org/api/0.6/")
muc_bbox <- center_bbox(11.575278,48.137222,1000,1000)
muc <- get_osm(muc_bbox,src)

system.time(
  highway_subset_ids <- subset(muc,way_ids = find(muc,way(tags(k == "highway"))))
)
# 0.157
system.time(
  highway_subset_ids <- find(highway_subset_ids,way(tags(k == "name")))
)
# 0.001
system.time(
  highway_subset_ids <- find_down(muc,way(highway_subset_ids))
)
# 0.008
system.time(
  highway_subset <- subset(muc,ids = highway_subset_ids)
)
# 0.025

如您所见，对我而言，最后一个subset不是瓶颈，而第一个是（贵6倍）。

内部数据不是很大

• nodes 15157行
• ways 2938行
• tags 11966行
• relations 350行
• 另外tags 3270行

您提到您需要多次执行子集。要解决的问题可能是尝试“向量化”您的代码。我并不是说明显的lapply，而是提取内部data.frames，重新绑定它们，然后仅执行一次子集，并在需要时再次对其进行拆分。 data.table可以在此处使用以提高速度。这将比仅在15000行的循环中使用data.table子集带来的好处要多得多，在这种情况下，好处会小得多。

要了解如何“向量化”该代码，您需要了解osmar subset的工作方式。如果您查看源代码https://github.com/cran/osmar/blob/master/R/osmar-subsetting.R

，这并不困难。

• 尝试从所有对象中提取数据帧到子集
• rbindlist他们
• subset使用[.data.table
• 根据需要拆分
• 必要时变成原始对象

还请注意，osmar软件包相当老，于2013年发布，它与sp之类的软件包有着间接的依赖关系，该软件包非常活跃。您可能会想到与过去7年osmar依赖项中引入的重大更改相关的一些问题。

,

是的，可能是可能的。您可以通过在控制台中输入str(muc)来查看osmar对象的结构，还可以通过运行由osmar:::subset.osmar之类的组件函数组成的osmar:::subset_ways来查看用于进行子设置的代码。所有这些似乎都写在基数R中，例如可以用data.table加速。

该策略可能是想出一种更有效的方法来一次性完成这整套操作：

highway_subset_ids <- subset(muc,way(tags(k == "highway"))))
highway_subset_ids <- find(highway_subset_ids,way(tags(k == "name")))
highway_subset_ids <- find_down(muc,way(highway_subset_ids))
highway_subset <- subset(muc,ids = highway_subset_ids)

您确切地关注的重点和操作方式取决于项目其余部分的详细信息以及您实际尝试做的事情。