如何将 3D 元素添加到 Hololens 2 视野中

问题描述

我正在尝试使用 Hololens 2 为大学构建远程协助解决方案，我已经设置了 MRTK WebRTC example with Unity。现在我想添加桌面对应的功能，能够在 Hololens 的视野中添加注释以支持远程指导，但我不知道如何实现。我正在考虑 Azure Spatial Anchors，但我还没有找到从 2D 桌面环境在 Hololens 的远程视野中添加 3D 元素的好例子。此外，我不确定空间锚点是否是正确的框架，因为它们主要用于 AR 环境中的持久标记，我更愿意寻找一个临时的视觉指示器。 有没有人已经在研究这样的解决方案，并且可以给我一些框架/提示从哪里开始？

解决方法

要从 2D 图像中找到一个点的实际世界位置，您可以参考这个答案：https://stackoverflow.com/a/63225342/11502506

简而言之，cameraToWorldMatrix 和 projectionMatrix 变换为每个像素定义了 3D 空间中的一条射线，表示产生像素的光子所采用的路径。但是沿着特定光线的任何东西都会出现在同一个像素上。因此，要找到一个点的实际世界位置，您需要使用 Physics.Raycast 方法来计算光线撞击 SpatialMapping 的世界空间中的撞击点。