DBSCAN-查找地理空间数据的Eps和MinPts的最佳方法坐标

问题描述

问题:找出DBSCAN算法的Eps和MinPts参数的最佳方法是什么?

问题:目标是根据坐标(输入数据)查找位置(集群)。该算法计算访问量最大的区域并检索这些聚类。

方法

我将epsilon(EPS)参数定义为1.5 km-转换为弧度以供DBSCAN算法使用:epsilon = 1.5 / 6371.0088(参考此1.5 km:https://geoffboeing.com/2014/08/clustering-to-reduce-spatial-data-set-size/)。

如果我将MinPts定义为一个较低的值(例如,MinPts = 5,它将产生2000个簇),则DBSCAN将产生太多的簇,并且我想将簇的相关性/大小限制为可接受的值。 我使用haversine度量和球树算法来计算点之间的大圆距离。

建议

  1. knn方法来查找EPS;
  2. 领域知识,并确定EPS和MinPts的最佳价值。

数据:我使用的是16万个坐标,但是该程序应该能够处理不同的数据输入。

解决方法

您可能知道,将MinPts设置为高不仅会阻止小簇的形成,而且还会改变大簇的形状,因为其郊区将被视为离群值。

请考虑第三种减少集群数量的方法;只需按递减的大小(坐标数)进行排序并将其限制为4或5。这样,如果您对小簇不感兴趣,就不会看到所有小簇,但是您可以将所有这些点视为噪声

您实际上是在使用DBSCAN来完成其不想要的事情,即找到最大的n集群,但这很好-您只需要“调整算法”以适合您的用例即可。


更新

如果您知道整个数据集,并且以后不会更改,那么我将根据您的知识手动调整minPts

在科学环境中以及具有不同数据集的情况下,您认为数据是“从随机过程生成的”。但是,这意味着无论有多小,都有机会同时在偏僻的森林中有minPts条狗,或者在通常人满为患的中央公园中有minPts - 1条狗

我的意思是,如果您走科学道路,则需要在minPts的确定性值与数据集中点的概率分布之间找到平衡。

根据我的经验,这全都取决于您是否信任自己的知识,或者想推迟承担责任。在某些政府/科学/大型公司职位上,将某些内容固定在算法上而不是直觉是比较安全的选择。在其他情况下,使用直觉是安全的。