问题描述
我有一个带有地理坐标的空气质量传感器测量值列表，我想实施离群值检测。传感器列表相对较小（约50个）。
空气质量可以随距离逐渐变化，但是突然的局部峰值可能是异常值。如果一组紧密定位的传感器中的一个传感器显示较高的值，则可能是异常值。如果更远的传感器显示相同的较高值，则可能没问题。
当然，我可以忽略坐标并假设正态分布进行简单的异常值检测，但我希望做一些更复杂的事情。对此建模并实现离群值检测的一种好的统计方法是什么？
解决方法
上面的语句("If one sensor in the group of closely located sensors shows a higher value it could be an outlier. If the same higher value is shown by more distant sensors it might be OK.")表示彼此接近的传感器的值往往更相似。
Tobler的第一条地理定律-“所有事物都与其他事物相关，但是附近事物比远处事物更相关”
您可以量化对此问题的答案。重点不应放在离群值传感器的位置和值上。使用全局spatial autocorrelation来回答彼此接近的传感器趋于相似的程度。
首先，您需要为每个传感器定义neighbors。
我将计算一个成本函数，其中包括两个成本：
1：cost_neighbors：计算与传感器值的期望值偏差。期望值是通过对所有值求和并按它们的距离加权来计算的。
2：cost_previous_step：检查传感器值与上一个时间步相比变化了多少。价值的大变动导致巨额成本。
下面是一些伪代码，描述了如何计算成本：
expected_value = ((value_neighbor_0 / distance_neighbor_0)+(value_neighbor_1 / distance_neighbor_1)+ ... )/nb_neighbors
cost_neighbors = abs(expected_value-value)
cost_previous_timestep = value@t - value@t-1
total_cost = a*cost_neighbors + b*cost_previous_timestep
a和b是可以调整以对每种成本产生或多或少影响的参数。然后，使用总成本来确定传感器值是否为离群值，该值越大，则离奇值越可能。
要弄清楚性能和权重，可以绘制一些标记数据点的成本，知道这些数据点是否是异常值。
cost_neigbors
| X
| X X
|
|o o
|o o o
|___o_____________ cost_previous_step
X= outlier
o= non-outlier
您现在可以手动设置阈值，也可以创建带有标签和成本的小型数据集，并应用任何种类的分类器功能（例如SVM）。
如果使用python，找到邻居及其距离的简单方法是scipy.spatial.cKDtree