通过网络从 HoloLens2 到 PC 的视频流

问题描述

我正在使用 Unity 2019.4 通过 HoloLens2 开发 AR 应用程序。

现在我需要从 Unity-Project 中获取 HoloLens2 相机的原始像素数据以及重新绘制的 3d 内容

我想将此像素数据作为实时视频流通过网络以低延迟(1 秒或更短)和至少 30fps 的速度发送到显示接收到的视频的外部应用程序。

到目前为止,我遇到了 Windows Media Capture API,我似乎可以在其中添加 MRC-Video 效果,以使用来自 Unity 的全息图来增强视频流。

这是从我的 unity UWP 应用程序捕获实时视频流的最佳方式,还是有更好、更简单的方法? 更重要的问题是,是否可以使用这种方法以足够低的延迟流式传输视频。

解决方法

MRC 应该是 Unity 方面最原生的解决方案。

FMETP STREAM 还支持具有 HL2 的低延迟流,作为跨平台解决方案。

Unity 方面没有太多解决方案,这些是我尝试过的。

PS:但是,您似乎很可能寻求建议而不是与编程相关的问题。