使用udpscr

编程问答 2022-08-16

问题描述

在实现gstreamer插件以在Android上播放RTP视频时，我遇到了一些问题。我有以下代码（可以正常工作）：

    full_pipeline_description = g_strdup_printf("playbin3 uri=%s",uri);
gub_log_pipeline(pipeline,"Using pipeline: %s",full_pipeline_description);
pipeline->pipeline = gst_parse_launch(full_pipeline_description,&err);
g_free(full_pipeline_description);
if (err) {
    gub_log_pipeline(pipeline,"Failed to create pipeline: %s",err->message);
    return;
}

vsink = gst_parse_bin_from_description(gub_get_video_branch_description(),TRUE,NULL);
gub_log_pipeline(pipeline,"Using video sink: %s",gub_get_video_branch_description());
g_object_set(pipeline->pipeline,"video-sink",vsink,NULL);
g_object_set(pipeline->pipeline,"flags",0x0003,NULL);

bus = gst_pipeline_get_bus(GST_PIPELINE(pipeline->pipeline));
gst_bus_add_signal_watch(bus);
gst_object_unref(bus);
g_signal_connect(bus,"message",G_CALLBACK(message_received),pipeline);

if (vsink) {
    // Plant a pad probe to answer context queries
    GstElement *sink;
    sink = gst_bin_get_by_name(GST_BIN(vsink),"sink");
    if (sink) {
        GstPad *pad = gst_element_get_static_pad(sink,"sink");
        if (pad) {
            gulong id = gst_pad_add_probe(pad,GST_PAD_PROBE_TYPE_QUERY_DOWNSTREAM,pad_probe,pipeline,NULL);
            gst_object_unref(pad);
        }
        gst_object_unref(sink);
    }
}

并不能将相同的代码用于另一个管道（基于udpsrc而不是playbin3）。我在这种情况下使用的管道是：

udpsrc端口= 53512！ application / x-rtp，media = video，clock-rate = 90000，encoding-name = H264，payload = 96！ rtph264depay！ encodebin3！ glupload！ glcolorconvert！ video / x-raw（内存：GLMemory），format = RGBA，texture-target = 2D！ fakesink sync = 0 qos = 1 name = sink

代码如下：

      full_pipeline_description = g_strdup_printf("%s",pipeline_cmd);
  gub_log_pipeline(pipeline,full_pipeline_description);
  pipeline->pipeline = gst_parse_launch(full_pipeline_description,&err);
  g_free(full_pipeline_description);
  if (err) {
    gub_log_pipeline(pipeline,err->message);
    return;
  }

  vsink = gst_parse_bin_from_description(gub_get_video_branch_description(),NULL);
  gub_log_pipeline(pipeline,gub_get_video_branch_description());
  g_object_set(pipeline->pipeline,"sink",NULL);
  g_object_set(pipeline->pipeline,NULL);

  bus = gst_pipeline_get_bus(GST_PIPELINE(pipeline->pipeline));
  gst_bus_add_signal_watch(bus);
  gst_object_unref(bus);
  g_signal_connect(bus,pipeline);

  // Plant a pad probe to answer context queries
  GstElement *sink;
  sink = gst_bin_get_by_name(GST_BIN(vsink),"sink");
  if (sink) {
    GstPad *pad = gst_element_get_static_pad(sink,"sink");
    if (pad) {
      gulong id = gst_pad_add_probe(pad,NULL);
      gst_object_unref(pad);
    }
    gst_object_unref(sink);
  }

基本上，在这种情况下，我只看到空白窗口（具有不同的颜色）。执行方面的唯一区别是，使用 playbin3 时会调用 pad_probe ，而使用udpsrc时不会调用。这是我看到的添加日志的唯一区别。我想了解为什么在使用udpsrc时，如果我错过了某些东西或使用了错误的东西，却没有调用此回调。

使用gstreamer-1.14.4和1.16.2版本都遇到相同的问题。任何提示都值得欢迎。

解决方法

g_object_set(pipeline->pipeline,"sink",vsink,NULL);实际上什么也没做； GstPipeline没有“接收器”属性（不同于播放器）。通常，它会吐出一个日志警告，准确地说明这一点。

要将接收器添加到管道中，您需要像在GStreamer应用程序中正常进行的那样进行操作：找到需要连接的源焊盘，或者等到正确的源焊盘链接以显示为“添加了键盘”的信号（例如，发生在decodebin中）。

,

最后，在进行了一些调查之后，基于此线程Gstreamer devel，我找到了问题的根本原因。基本上，我怀疑使用 udpsrc 时不会调用pad探测的回调，它仅在使用 playbin3 时才起作用。结果，没有提供图形上下文并且视频不能正确再现。为了解决此问题，我必须添加逻辑以处理总线上的消息以正确回答GST_MESSAGE_NEED_CONTEXT请求。为此，首先必须连接一个回调来处理总线消息，如下所示：

g_signal_connect（总线，“消息”，G_CALLBACK（消息已接收），管道）；

然后在 message_received 函数中，添加了以下代码。

static void message_received(GstBus *bus,GstMessage *message,GUBPipeline *pipeline) {
    switch (GST_MESSAGE_TYPE(message)) {
    ...
      case GST_MESSAGE_NEED_CONTEXT:
    {
        const gchar *context_type;
        GstContext *context = NULL;
        gst_message_parse_context_type (message,&context_type);
        context = gub_provide_graphic_context(pipeline->graphic_context,context_type);
         if (context)
         {
             gst_element_set_context (GST_ELEMENT (message->src),context);
             gst_context_unref (context);
         }
        break;
    }
    ...
}

通过这些修改，我现在可以正确接收和再现视频了。使用ffmpeg testsrc工具模拟RTP视频流：

ffmpeg -f lavfi -i testsrc -vf scale=1280:960 -vcodec libx264 -profile:v baseline -pix_fmt yuv420p -f rtp rtp://YOUR_IP:PORT
androidandroidgstreamergstreamer-1.0video-streaming