对新对象进行有限模型训练的已知3D CAD对象的6D姿态估计

问题描述

我正在一个项目中,我需要估计单个RGB图像中已知3D CAD对象的6DOF姿势-即此任务:https://paperswithcode.com/task/6d-pose-estimation。这个问题有几个约束条件:

  • 可用于商业用途(根据BSD,MIT,BOOST等获得许可),而不是GPL。
  • CAD对象是已知的,我们不追求通用性(即识别所有椅子的类别)。
  • CAD对象可以由用户上载,因此它可能具有对称性和一定范围的纹理。
  • 推理步骤将在智能手机上运行,​​并且应该能够以> 30fps的速度运行。
  • 推理步骤可以是a)找到对象的姿势一次,然后编写代码以继续跟踪它,或者b)连续找到对象的姿势。即找到初始姿态估计后,该模型不需要进行任何连续的细化步骤。​​
  • 可以在单个对象的单个实例到多个对象的多个实例(MiMo)的范围内的任何位置。 MiMO是首选,但不是必需的。
  • 如果使用深度学习方法,则新CAD对象所需的培训时间应为数小时而不是数天。
  • 可以1)只是找到对象的初始姿势并且之后没有任何细化步骤,还是2)可以找到对象的初始姿势并且之后也有细化步骤。​​

我愿意接受传统方法(即2D-> 3D对应关系,然后用PnP求解),但是深度学习方法似乎胜过它们(经典方法太慢-Real time 6D pose estimation of known 3D CAD objects from a single 2D image or point clouds from RGBD Camera when objects are one on top of the other?)。纵观深度学习方法(poseCNN,HybridPose,Pix2Pose,CosyPose),似乎大多数方法都符合这些约束条件,只是它们需要模型训练时间。虽然也许我可以使用一个预先训练的模型,然后通过较短的训练步骤将其专用于每个新的CAD对象。但是我不确定,我认为成功可能取决于所选择的特定模型。例如,该项目说需要3个小时的培训时间:https://github.com/DLR-RM/AugmentedAutoencoder

所以,我的问题是:有人会知道什么是最新的,可商业使用的实现方式,而无需为新的CAD对象花费大量的培训时间?

解决方法

暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!

如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@)