为什么FAST / ORB不利于在图像边缘附近找到关键点

编程问答 2022-08-13

问题描述

ORB在图像边缘附近找不到关键点，我也不明白为什么。 SIFT和SURF似乎更糟，我期望相反。

如果我理解正确，那么SIFT / SURF会在测试点周围分别使用16x16和20x20的正方形块，因此我希望他们不会从边缘找到8和10像素的关键点。 FAST / ORB在测试点周围使用直径为7的圆，因此我希望它可以找到更靠近边缘的关键点，也许最接近4个像素（尽管我认为用于描述关键点的关联算法“ BRIEF”使用较大的窗口）因此这将删除一些关键点。

一个实验使我的预测毫无意义。在我的实验中，距边缘的最小距离随正方形的大小和间距而变化，但示例为

  • SIFT .. 5像素
  • SURF .. 15像素
  • ORB .. 39像素

任何人都可以解释原因吗？

我使用的代码如下。我绘制了一个正方形网格并应用了高斯模糊。我希望算法能够锁定在角上，但他们找到了正方形的中心和一些伪像。

import numpy as np
import cv2

size = 501; border = 51; step = 10
image = np.zeros( (size,size),np.uint8 )
# fill with disjoint squares
def drawsquare(img,i,j):
    restsize = step//5
    cv2.rectangle(img,(i-restsize,j-restsize),(i+restsize,j+restsize),255,-1)
for i in range(0,size,step):
    for j in range(0,step):
        drawsquare(image,j)
# blank out the middle
image[border:size-border,border:size-border] = 0
# and blur
image = cv2.GaussianBlur(image,(5,5),0)
imgcopy = image.copy()

descriptor = cv2.xfeatures2d.SIFT_create(nfeatures=2000)
kps = descriptor.detect(image)
minpt = min([p for k in kps for p in k.pt ])
print("#{} SIFT keypoints,min coord is {} ".format(len(kps),minpt))
imgcopy = cv2.drawKeypoints(imgcopy,kps,imgcopy,(0,255))
cv2.imshow( "SIFT(red)",imgcopy )
cv2.waitKey()

descriptor = cv2.xfeatures2d.SURF_create()
kps,descs = descriptor.detectAndCompute(image,None)
minpt = min([p for k in kps for p in k.pt ])
print("#{} SURF keypoints,min coord is {}".format(len(kps),255))
cv2.imshow( "SIFT(red)+SURF(yellow)",imgcopy )
cv2.waitKey()

descriptor = cv2.ORB_create(nfeatures=800)
kps = descriptor.detect(image)
minpt = min([p for k in kps for p in k.pt ])
print("#{} ORB keypoints,0))
cv2.imshow( "SIFT(red)+SURF(yellow)+ORB-detect(green)",imgcopy )
cv2.waitKey()
kps,descs = descriptor.compute(image,kps)
minpt = min([k.pt[0] for k in kps]+[k.pt[1] for k in kps])
print("#{} ORB described keypoints,(255,0))
cv2.imshow( "SIFT(red)+SURF(yelow)+ORB-compute(blue)",imgcopy )
cv2.waitKey()


cv2.imwrite("/tmp/grid-with-keypoints.png",imgcopy)

程序输出为

#2000 SIFT keypoints,min coord is 5.140756607055664 
#1780 SURF keypoints,min coord is 15.0
#592 ORB keypoints,min coord is 39.60000228881836 
#592 ORB described keypoints,min coord is 39.60000228881836

图像是

Output of program,SIFT keypoints are red,SURF are yellow and ORB are blue

附录

Grillteller回答了我的问题，并在ORB检测器的创建代码中给了我一个额外的参数。如果我写

descriptor = cv2.ORB_create(nfeatures=800,edgeThreshold=0)

然后我得到输出

#950 ORB keypoints,min coord is 9.953282356262207

解决方法

通常，图像边缘的关键点对于大多数应用程序没有用。考虑例如行驶中的汽车或飞机以拍摄航拍图像。在下一帧中，通常看不到图像边框上的点。在大多数情况下，当计算对象的3D重建时，感兴趣的对象位于图像的中心。另外，您提到的事实是，大多数特征检测器都可以在像素周围的感兴趣区域上工作，这很重要，因为这些区域可能会在图像边界处产生不必要的效果。

进入OpenCV ORB（848-849）的源代码时使用的函数带有edgeThreshold，可以使用cv::ORB::create()对其进行定义，并将其设置为默认值31像素。 “这是未检测到特征的边框大小。它应该与patchSize参数大致匹配。” 

// Remove keypoints very close to the border
KeyPointsFilter::runByImageBorder(keypoints,img.size(),edgeThreshold);

该函数定义为：

void KeyPointsFilter::runByImageBorder( std::vector<KeyPoint>& keypoints,Size imageSize,int borderSize )
{
    if( borderSize > 0)
    {
        if (imageSize.height <= borderSize * 2 || imageSize.width <= borderSize * 2)
            keypoints.clear();
        else
            keypoints.erase( std::remove_if(keypoints.begin(),keypoints.end(),RoiPredicate(Rect(Point(borderSize,borderSize),Point(imageSize.width - borderSize,imageSize.height - borderSize)))),keypoints.end() );
    }
}

，并使用keypoints.erase()移除边缘附近的关键点。

对于SIFT，相关行（92-93）可以找到here：

// width of border in which to ignore keypoints 
static const int SIFT_IMG_BORDER = 5;

我假设SURF使用类似的参数（= 15？），但是据我所知，SIFT和SURF中的这些参数不能像在ORB这样的函数调用中简单地进行更改。

feature-extractionkeypointopencvopencvpython