将低延迟视频从 Raspberry Pi 流式传输到 UWP-APP 的最佳方式

问题描述

对于一个项目，我必须通过 TCP 与来自 UWP-APP 的 RaspBerry Pi Zero 进行通信。因为树莓派和有接口的计算机都有一个私有IP，我必须使用服务器将消息从一个客户端转发到另一个客户端。这部分已经可以工作了，但现在我的问题是我必须实现从 RaspBerry 到 UWP-APP 的视频流。

因为我的搭档负责创建和设计 UWP-APP，所以我用 WindowsForms 为自己制作了一个小测试界面。我尝试了多种技术，例如 Netcat 通过服务器将视频输出到客户端或使用 raspivid 直接进行 TCP 流传输，但迄今为止最好的解决方案是我在此项目中找到的解决方案 {{3} }.但是我没有使用 Eneter.Messaging-library，而是使用我自己的类与 TcpClients 进行通信。

我使用 mono 在 RaspBerry 上运行我的 C# 脚本，并且流式传输视频的代码如下所示：

while (true)
            {
                //Wait with streaming until the Interface is connected
                while (!RemoteDeviceConnected || VideoStreamPaused)
                {
                    Thread.Sleep(500);
                }
                //Check if Raspivid-Process is already running
                if(!Array.Exists(Process.GetProcesses(),p => p.ProcessName.Contains("raspivid")))
                    raspivid.Start();
                Thread.Sleep(2000);
                VideoData = new byte[VideoDataLength];
                try
                {
                    while (await raspivid.StandardOutput.BaseStream.ReadAsync(VideoData,VideoDataLength) != -1 && !VideoChannelToken.IsCancellationRequested && RemoteDeviceConnected && !VideoStreamPaused)
                    {
                        // Send captured data to connected clients.
                        VideoConnection.SendByteArray(VideoData,VideoDataLength);
                    }
                    raspivid.Kill();
                    Console.WriteLine("Raspivid killed");
                }
                catch(ObjectdisposedException)
                {

                } 
            }

基本上，该方法只是从 raspivid 进程的 Standard-Output-Stream 中分块读取 h264 数据并将其发送到服务器。

下一个方法在服务器上运行，只是将字节数组转发到连接的接口客户端。

while (RCVVideo[id].Connected)
            {
                await RCVVideo[id].stream.ReadAsync(VideoData,VideoDataLength);
                if (IFVideo[id] != null && IFVideo[id].Connected == true)
                {
                    IFVideo[id].SendByteArray(VideoData,VideoDataLength);
                }
            }

SendByteArray() 使用 NetworkStream.Write() 方法。

在接口上，我将接收到的 byte[] 写入命名管道，VLC-Control 连接到该管道：

while (VideoConnection.Connected)
            {
                await VideoConnection.stream.ReadAsync(VideoData,VideoDataLength);
                if(VideoPipe.IsConnected)
                {
                    VideoPipe.Write(VideoData,VideoDataLength);
                }
                
            }

以下代码初始化管道服务器：

// Open pipe that will be read by VLC.
        VideoPipe = new NamedPipeServerStream(@"\raspipipe",PipeDirection.Out,1,PipeTransmissionMode.Byte,PipeOptions.WriteThrough,10000);

对于 VLC：

LibVLC libVLC = new LibVLC();

        videoView1.MediaPlayer = new MediaPlayer(libVLC);

        videoView1.MediaPlayer.Play(new Media(libVLC,@"stream/h264://\\\.\pipe\raspipipe",FromType.FromLocation));
        videoView1.MediaPlayer.EnableHardwareDecoding = true;
        videoView1.MediaPlayer.FileCaching = 0;
        videoView1.MediaPlayer.NetworkCaching = 300;

这在 Windowsforms-App 上运行良好，我可以将延迟降低到 2 或 3 秒（最终应该会更好，但可以接受）。但是在 UWP-App 上，即使将 /LOCAL/ 添加到管道名称后，我也无法让它工作。它显示VLC-Control连接到管道，我可以看到数据写入管道但不显示视频。

所以我的问题是：

我怎样才能让它与 UWP 中的 VLC-Control (LibVLCSharp) 一起工作？我是否遗漏了一些基本的东西？

或者在这种情况下有更好的方式来流式传输视频吗？

我对 UWP-MediaPlayerElement 进行了一些研究，但找不到将 byte[] 放入其中的方法。

解决方法

首先，感谢您的快速回复和有趣的想法！

我查看了 Desktop Bridge，但它并不是我真正想要的，因为我的同事已经在设计 UWP-APP 方面付出了很多努力，而我的 Windows-Form 只是一个尝试尝试的笨蛋。

但真正对我有用的是 StreamMediaInput 。我不知道我以前是怎么错过这个的。这样我就直接将我的 NetworkStream 传递给了 MediaPlayer，而不使用命名管道。

LibVLC libVLC = new LibVLC();

videoView1.MediaPlayer = new MediaPlayer(libVLC);
Media streamMedia = new Media(libVLC,new StreamMediaInput(Client.Channels.VideoConnection.stream),":demux=h264");
        
videoView1.MediaPlayer.EnableHardwareDecoding = true;
videoView1.MediaPlayer.FileCaching = 0;
videoView1.MediaPlayer.NetworkCaching = 500; 

videoView1.MediaPlayer.Play(streamMedia);

这个解决方案现在在 UWP 和 Windows-Forms 中都适用于我。

c#c#libvlcsharp raspberry-pi uwp video-streaming