您如何重新分配观点？

编程问答 2022-10-26

问题描述

我在使用Cv2.Undistort()的图像上有失真，可以使图像变直。之后，我在图像中找到了一些要点。我需要获取变形图像中这些点的位置。

我尝试过Cv2.ProjectPoints()，但未能获得适当的坐标。它们超出了图像的范围。

这就是我要做的事情：

List<float> arr = new List<float>();
foreach (var i in points)
{
    arr.Add(i.X);
    arr.Add(i.Y);
    arr.Add(0);
}
Mat pointArr = new Mat(3,points.Count,MatType.CV_32FC1,arr.ToArray());
float[] rotArr = {  1,1,1};

float[] transArr = { 0,0 };

Mat rot = new Mat(3,MatType.CV_32F,rotArr);
Mat trans = new Mat(3,transArr);


Cv2.ProjectPoints(pointArr,rot,trans,camMatrix,dist,outputPoints);
List<Point2f> point2Fs = new List<Point2f>();
var lngt = outputPoints.Rows * outputPoints.Cols * outputPoints.Channels();
var matarr = new List<float>();
for (int i = 0; i < outputPoints.Rows; i++)
{
    point2Fs.Add(new Point2f(outputPoints.ExtractChannel(0).At<float>(0,i),outputPoints.ExtractChannel(1).At<float>(0,i)));
}

points-我要在原始图像中找到的未失真图像中的点

有什么建议吗？

谢谢！

解决方法

不幸的是，OpenCV没有提供直接执行所需功能的功能，即将失真系数应用于未失真的2D点。您可以：

选项1

使用projectPoints（）使您处在正确的轨道上。了解其工作原理的窍门是，未失真的图像中的一个点在图像平面中“存在”，看起来像这样（来自https://docs.opencv.org/2.4/modules/calib3d/doc/camera_calibration_and_3d_reconstruction.html的图片）：

enter image description here

图像平面位于距原点 f （焦距）的位置，并且 x 和 y 坐标相对于 c x 和 c y 。

您要做的是从未变形的2D点（x u ，y u ）构建3D点（x，y，z），如下所示： 

x = (x_u - c_x) / f_x
y = (y_u - c_y) / f_y
z = 1

代替在第一个 foreach 循环中使用（x u ，y u ，0）。

然后调用projectPoints（）。

您正确使用了身份轮换和0转换。 f x ，f y ，c x 和c y 位于cameraMatrix中：

|f_x  0  c_x|
| 0  f_y c_y|
| 0   0   1 |

选项2：

您可以直接将等式应用于失真（https://docs.opencv.org/2.4/modules/calib3d/doc/camera_calibration_and_3d_reconstruction.html）：

enter image description here

第一步，将x'和y'替换为：

x' = (x_u - c_x) / f_x
y' = (y_u - c_y) / f_y

然后应用其余方程式。这是projectPoints（）的工作，而没有旋转/平移部分。

,

我最终使用了Milo提出的第二个选项。我重写了没有旋转和平移部分的投影点方法，并从x'和y'开始方程路径，其中：

x' = (x_u - c_x) / f_x
y' = (y_u - c_y) / f_y

然后我应用了其余提供的方程式。

enter image description here

这是源代码：

Point2f DistortPoint(Point2f point)
{
   var tempPt = new Point2f((point.X-intr.cx)/intr.fx,(point.Y-intr.cy)/intr.fy);
   var r2 = Math.Pow(tempPt.X,2) + Math.Pow(tempPt.Y,2);
   var xtmp = tempPt.X * ((1 + intr.k1 * r2 + intr.k2 * Math.Pow(r2,2) + intr.k3 * Math.Pow(r2,3)) /
                (1 + intr.k4 * r2 + intr.k5 * Math.Pow(r2,2) + intr.k6 * Math.Pow(r2,3))) + 2 * intr.p1 * tempPt.X * tempPt.Y + intr.p2 * (r2 + 2 * Math.Pow(tempPt.X,2));
   var ytmp = tempPt.Y * ((1 + intr.k1 * r2 + intr.k2 * Math.Pow(r2,3))) + 2 * intr.p2 * tempPt.X * tempPt.Y + intr.p1 * (r2 + 2 * Math.Pow(tempPt.Y,2));
   return new Point2f((float)(intr.fx * xtmp + intr.cx),(float)(intr.fy * ytmp + intr.cy));
}
,

我通过使用从 invite_team 返回的索引 mapx 和 mapy 来做到这一点。

cv2.initUndistortRectifyMap()

这种方法的局限性在于索引必须在范围内。

即使在标准化 x_distored = mapx[y_rectified,x_rectified] y_distored = mapy[y_rectified,x_rectified] 和 Cv2.ProjectPoints() 之后，我也有问题使用 x_rectified 将修正后的位置投影为失真。我的问题是无法将 y_rectified 和 R（我从 T 得到它们。它们不是全零。）转换为 cv2.stereoRectify() 和 rvec 所需的 tvec {1}} 作为输入。如果有人有成功经验请分享一下，谢谢！

c#c#camera-calibrationcomputer-visionopencvopencv