Window 10 上基于 Microsoft DirectShow 的虚拟网络摄像头应用程序的项目和构建结构

问题描述

我正在尝试创建最简单的虚拟网络摄像头应用程序，它可以在我的本地文件系统上显示图像文件。

在对 stackoverflow links 进行初步研究并看到 OBS Studio source code 后，我对如何实现这一目标有了一些想法。

我需要使用 Microsoft DirectShow。
我需要开发一个源过滤器，它可以使用 IBaseFilter
作为捕获过滤器
我需要开发另一个可用作输出过滤器或虚拟网络摄像头过滤器的源过滤器。我需要将此过滤器编译为 .dll 文件，并且需要使用 regsvr32.exe
进行注册如 https://docs.microsoft.com/en-us/windows/win32/directshow/building-directshow-filters
所述
我需要使用 CoCreateInstance 来创建 Filter Graph 和 Capture Filter Graph，例如

hr = CoCreateInstance(CLSID_Filtergraph,NULL,CLSCTX_INPROC_SERVER,IID_IFiltergraph,(void **)&graph);

hr = CoCreateInstance(CLSID_CaptureGraphBuilder2,IID_ICaptureGraphBuilder2,(void **)&builder);
然后我需要将这些过滤器添加到 Filter Graph
然后我会将 Filter Graph 设置为 Capture Filter Graph 就像 hr = builder->SetFiltergraph(graph);

这是我现在的困惑：
在这些步骤之后，我不确定是否必须将这些 Graph Filters 和 Capture Graph Filter 包装在一个具有 main 方法的应用程序中并编译它以获得 .exe 文件，或者我需要编译作为另一个 .dll 文件。

或者我应该如何包装这些步骤以创建最终应用程序？

解决方法

我想创建最简单的虚拟网络摄像头应用程序，它可以将任何图像或视频输出到虚拟摄像头。在 Google meet 或 zoom 等在线会议中，该虚拟摄像头应该作为视频设备可见。

Windows 中不支持作为统一 API 的虚拟网络摄像头，您要实现的目标一般来说是可能的，但比设置问题复杂得多。

该任务可以分解为三个部分，您将能够找到详细说明所有三部分的过去 StackOverflow 问题（下面给出了一些参考）。

首先，您需要解决将虚拟相机集成到第三方软件中的问题。根据我开始的陈述，OS API 无法在 OS 可扩展性点方面为通用虚拟相机接口提供方法，该接口使第三方应用程序能够“看到”新的相机设备。

将伪造的相机设备注入应用程序的一种流行方法是虚拟 DirectShow 视频源（以及相应的 Vivek's VCam 源代码）。

来自 Registering a network video stream as a virtual camera 的图表描述了应用程序用于处理相机的 API，并说明了虚拟 DirectShow 相机的局限性，特别是为什么 Windows 中的每个支持视频的应用程序都无法看到它们。

另见问题 Virtual Driver Cam not recognized by browser 和 DirectShow filter is not shown as input capture device。

总而言之，要在 Windows 中为所有人和任何应用程序开发虚拟网络摄像头，您需要开发驱动程序，很少有人准备好处理。

Newer Media Foundation API 对虚拟网络摄像头的功能没有任何帮助。

第二，您需要定义一种将视频帧注入到您开发的任何虚拟相机中的方法。无需使用 DirectShow 或 Media Foundation，因为归根结底，您只需要将视频帧提交到虚拟摄像机实现的后端，您就可以自由使用任何方便的方法。

使用 DirectShow 执行此任务总体上是有意义的，但您不需要这样做。如果您不熟悉 API 并且您是从创建过滤器图的基础开始，那么使用非 DirectShow 解决方案很可能更容易。如果您需要将真实的网络摄像头图像混合到您的提要中，您可以特别使用 Media Foundation 来捕捉它。如果您打算使用各种 GPU 服务，Media Foundation 将是一个更好的 API，可以再次使用。 DirectShow 仍然是构建管道的 API 的不错选择。

第三，连接虚拟摄像机实现和视频源的进程间通信经常存在问题。在某些情况下它不是必需的，但更多时候它只是被忽略了。

虚拟 DirectShow 摄像头（或虚拟 Media Foundation 摄像头，例如，如果您要绕道而行）正在摄像头消费进程的上下文中运行，并且通常可以从多个应用程序访问摄像头，包括同时访问。您经常期望从另一个 [单个] 应用程序生成视频，包括解锁位/架构的应用程序的情况，因此您要处理在进程之间传递数据的挑战。如果您正在尝试为虚拟相机开发驱动程序，您也将面临同样的任务。

我在 MSDN 问题中提到了这方面的方面：How to implement a "source filter" for splitting camera video based on Vivek's vcam?，然后是 Read USB camera's input edit and send the output to a virtual camera on Windows，还有 How to create Directshow filter?。

总而言之，这不是项目设置的问题。相反，它需要解决一组相当复杂的问题（虽然可行，我们也看到了这样的例子）。

DirectShow 已过时。您应该改用 Microsoft MediaFoundation。它有据可查，并且运行良好。以下代码将用于从网络摄像头捕获：

void Webcam::StartRecording()
{
    HRESULT hr = MFStartup(MF_VERSION);

    hr = MFCreateAttributes(&pConfig,1);
    if (FAILED(hr)){
        std::cout << "Failed to create attribute store";
    }

    hr = pConfig->SetGUID(MF_DEVSOURCE_ATTRIBUTE_SOURCE_TYPE,MF_DEVSOURCE_ATTRIBUTE_SOURCE_TYPE_VIDCAP_GUID);
    if (FAILED(hr)){
        std::cout << "Failed to request capture devices";
    }

    hr = MFEnumDeviceSources(pConfig,&ppDevices,&count);
    if (FAILED(hr)){
        std::cout << "Failed to enumerate capture devices";
    }

    hr = ppDevices[0]->ActivateObject(IID_PPV_ARGS(&pSource));
    if (FAILED(hr)){
        std::cout << "Failed to connect camera to source";
    }

    hr = MFCreateSourceReaderFromMediaSource(pSource,pConfig,&pReader);
    if (FAILED(hr)){
        std::cout << "Failed to create source reader";
    }

    IMFMediaType* pType = NULL;
    DWORD dwMediaTypeIndex = 0;
    DWORD dwStreamIndex = 0;
    hr = pReader->GetNativeMediaType(dwStreamIndex,dwMediaTypeIndex,&pType);
    LPVOID representation;
    pType->GetRepresentation(AM_MEDIA_TYPE_REPRESENTATION,&representation);
    GUID subType = ((AM_MEDIA_TYPE*)representation)->subtype;
    BYTE* pbFormat = ((AM_MEDIA_TYPE*)representation)->pbFormat;
    GUID formatType = ((AM_MEDIA_TYPE*)representation)->formattype;
    if (subType == MEDIASUBTYPE_YUY2) { std::cout << 1; };
    RECT rect;
    if (formatType == FORMAT_DvInfo) { std::cout << 1; }
    if (formatType == FORMAT_MPEG2Video) { std::cout << 2; }
    if (formatType == FORMAT_MPEGStreams) { std::cout << 3; }
    if (formatType == FORMAT_MPEGVideo) { std::cout << 4; }
    if (formatType == FORMAT_None) { std::cout << 5; }
    if (formatType == FORMAT_VideoInfo) { std::cout << 6; }
    if (formatType == FORMAT_VideoInfo2){
        rect = ((VIDEOINFOHEADER2*)pbFormat)->rcSource;
    }
    if (formatType == FORMAT_WaveFormatEx) { std::cout << 8; }
    if (formatType == GUID_NULL) { std::cout << 9; }

    int videoWidth = ((VIDEOINFOHEADER2*)pbFormat)->bmiHeader.biWidth;
    int videoHeight = ((VIDEOINFOHEADER2*)pbFormat)->bmiHeader.biHeight;

    IsRecording = true;
    DWORD streamIndex,flags;
    LONGLONG llTimeStamp;
    IMFSample* pSample;

    while (IsRecording){
        hr = pReader->ReadSample(MF_SOURCE_READER_FIRST_VIDEO_STREAM,&streamIndex,&flags,&llTimeStamp,&pSample);
        if (FAILED(hr)){
            std::cout << "Failed to get image from camera";
        }
        if (pSample != NULL){
            IMFMediaBuffer* pBuffer;
            pSample->ConvertToContiguousBuffer(&pBuffer);
            unsigned char* data;
            DWORD length;
            pBuffer->GetCurrentLength(&length);
            HRESULT hr = pBuffer->Lock(&data,NULL,&length);
            if (FAILED(hr)){
                std::cout << "Failed to get data from buffer";
            }

            HDC hdc = GetDC(hwnd);
            HBITMAP bitmap = CreateCompatibleBitmap(hdc,640,480);
            BITMAPINFOHEADER header = { sizeof(BITMAPINFOHEADER),480,1,24,BI_RGB,NULL };
            BITMAPINFO info = { header,NULL };
            SetDIBits(hdc,bitmap,&rgb[0],&info,DIB_RGB_COLORS);

            HIMAGELIST imageList = ImageList_Create(640,ILC_COLOR24,500);
            if (bitmap != NULL) {
                ImageList_Add(imageList,NULL);
                BOOL drawn = ImageList_Draw(imageList,hdc,ILD_IMAGE);
                
                DeleteObject(bitmap);
            }
            else {
                std::cout << "Failed to create bitmap" << std::endl;
            }
            ImageList_Destroy(imageList);
            DeleteObject(hdc);
            pBuffer->Unlock();
            pBuffer->Release();
            pSample->Release();
        }
    }
    pSource->Stop();
    pSource = NULL;
    MFShutdown();
}

在将数据缓冲区发送到 image_list 之前，您可能需要将其转换为 RGB 格式。大多数现代相机以 RGB 输出，但我笔记本电脑上的旧网络摄像头输出 YUY2。如果您需要从 YUY2 转换为 RGB，请随时询问。可能有更好的代码来做同样的事情，但这段代码运行良好。它让您控制图像。您可能可以改为在静态控件中显示图像。 image_list 让您可以控制添加多个图像并随意调整它们的大小。

com com com directshow video video video-capture windows-10-desktop