使用 ffmpeg 在 webm 传输流中生成时间戳

问题描述

我正在将 Electron 应用的屏幕截图录制到文件中，如下所示：Save captured video to file in Electron

效果很好，但文件是“传输流”。我可以在 Chrome 浏览器中播放，但无法调整时间滑块。

建议使用 ffmpeg 对文件进行后处理。我发现的最简单、直接的命令是：

ffmpeg -fflags +genpts -i in.webm out.webm

我认为这只是生成时间戳。但是，out.webm 文件比 in.webm 小 15 倍！我没有看到质量有任何变化。缺点是 - 处理所需的时间与视频的持续时间大致相同。

两个问题：

有什么方法可以加快这个“时间戳”过程？
我可以录制尺寸已经缩小 15 倍的视频吗？

我在调用 maxFrameRate: 30 时指定了 webkitGetUserMedia()。

这是 ffmpeg 命令的输出：

vlad$ ffmpeg -fflags +genpts -i in.webm out.webm
ffmpeg version 4.3.2 copyright (c) 2000-2021 the FFmpeg developers
  built with Apple clang version 12.0.0 (clang-1200.0.32.29)
  configuration: --prefix=/usr/local/Cellar/ffmpeg/4.3.2 --enable-shared --enable-pthreads --enable-version3 --enable-avresample --cc=clang --host-cflags= --host-ldflags= --enable-ffplay --enable-gnutls --enable-gpl --enable-libaom --enable-libbluray --enable-libdav1d --enable-libmp3lame --enable-libopus --enable-librav1e --enable-librubberband --enable-libsnappy --enable-libsrt --enable-libtesseract --enable-libtheora --enable-libvidstab --enable-libvorbis --enable-libvpx --enable-libwebp --enable-libx264 --enable-libx265 --enable-libxml2 --enable-libxvid --enable-lzma --enable-libfontconfig --enable-libfreetype --enable-frei0r --enable-libass --enable-libopencore-amrnb --enable-libopencore-amrwb --enable-libopenjpeg --enable-librtmp --enable-libspeex --enable-libsoxr --enable-libzmq --enable-libzimg --disable-libjack --disable-indev=jack --enable-videotoolBox
  libavutil      56. 51.100 / 56. 51.100
  libavcodec     58. 91.100 / 58. 91.100
  libavformat    58. 45.100 / 58. 45.100
  libavdevice    58. 10.100 / 58. 10.100
  libavfilter     7. 85.100 /  7. 85.100
  libavresample   4.  0.  0 /  4.  0.  0
  libswscale      5.  7.100 /  5.  7.100
  libswresample   3.  7.100 /  3.  7.100
  libpostproc    55.  7.100 / 55.  7.100
Input #0,matroska,webm,from 'in.webm':
  Metadata:
    encoder         : Chrome
  Duration: N/A,start: 0.000000,bitrate: N/A
    Stream #0:0(eng): Video: vp9 (Profile 0),yuv420p(tv),2560x1416,SAR 1:1 DAR 320:177,1k tbr,1k tbn,1k tbc (default)
    Metadata:
      alpha_mode      : 1
Stream mapping:
  Stream #0:0 -> #0:0 (vp9 (native) -> vp9 (libvpx-vp9))
Press [q] to stop,[?] for help
[libvpx-vp9 @ 0x7f85f2012600] v1.9.0
[libvpx-vp9 @ 0x7f85f2012600] Neither bitrate nor constrained quality specified,using default CRF of 32
Output #0,to 'out.webm':
  Metadata:
    encoder         : Lavf58.45.100
    Stream #0:0(eng): Video: vp9 (libvpx-vp9),yuv420p,2560x1416 [SAR 1:1 DAR 320:177],q=-1--1,1k fps,1k tbc (default)
    Metadata:
      alpha_mode      : 1
      encoder         : Lavc58.91.100 libvpx-vp9
    Side data:
      cpb: bitrate max/min/avg: 0/0/0 buffer size: 0 vbv_delay: N/A
frame=  209 fps=5.8 q=0.0 Lsize=     881kB time=00:00:17.81 bitrate= 405.0kbits/s speed=0.494x    
video:879kB audio:0kB subtitle:0kB other streams:0kB global headers:0kB muxing overhead: 0.231567%

这里是来自 ffprobe 的两个文件的信息：

vlad$ ffprobe in.webm
ffprobe version 4.3.2 copyright (c) 2007-2021 the FFmpeg developers
  built with Apple clang version 12.0.0 (clang-1200.0.32.29)
  configuration: --prefix=/usr/local/Cellar/ffmpeg/4.3.2 --enable-shared --enable-pthreads --enable-version3 --enable-avresample --cc=clang --host-cflags= --host-ldflags= --enable-ffplay --enable-gnutls --enable-gpl --enable-libaom --enable-libbluray --enable-libdav1d --enable-libmp3lame --enable-libopus --enable-librav1e --enable-librubberband --enable-libsnappy --enable-libsrt --enable-libtesseract --enable-libtheora --enable-libvidstab --enable-libvorbis --enable-libvpx --enable-libwebp --enable-libx264 --enable-libx265 --enable-libxml2 --enable-libxvid --enable-lzma --enable-libfontconfig --enable-libfreetype --enable-frei0r --enable-libass --enable-libopencore-amrnb --enable-libopencore-amrwb --enable-libopenjpeg --enable-librtmp --enable-libspeex --enable-libsoxr --enable-libzmq --enable-libzimg --disable-libjack --disable-indev=jack --enable-videotoolBox
  libavutil      56. 51.100 / 56. 51.100
  libavcodec     58. 91.100 / 58. 91.100
  libavformat    58. 45.100 / 58. 45.100
  libavdevice    58. 10.100 / 58. 10.100
  libavfilter     7. 85.100 /  7. 85.100
  libavresample   4.  0.  0 /  4.  0.  0
  libswscale      5.  7.100 /  5.  7.100
  libswresample   3.  7.100 /  3.  7.100
  libpostproc    55.  7.100 / 55.  7.100
Input #0,1k tbc (default)
    Metadata:
      alpha_mode      : 1

和

vlad$ ffprobe out.webm
ffprobe version 4.3.2 copyright (c) 2007-2021 the FFmpeg developers
  built with Apple clang version 12.0.0 (clang-1200.0.32.29)
  configuration: --prefix=/usr/local/Cellar/ffmpeg/4.3.2 --enable-shared --enable-pthreads --enable-version3 --enable-avresample --cc=clang --host-cflags= --host-ldflags= --enable-ffplay --enable-gnutls --enable-gpl --enable-libaom --enable-libbluray --enable-libdav1d --enable-libmp3lame --enable-libopus --enable-librav1e --enable-librubberband --enable-libsnappy --enable-libsrt --enable-libtesseract --enable-libtheora --enable-libvidstab --enable-libvorbis --enable-libvpx --enable-libwebp --enable-libx264 --enable-libx265 --enable-libxml2 --enable-libxvid --enable-lzma --enable-libfontconfig --enable-libfreetype --enable-frei0r --enable-libass --enable-libopencore-amrnb --enable-libopencore-amrwb --enable-libopenjpeg --enable-librtmp --enable-libspeex --enable-libsoxr --enable-libzmq --enable-libzimg --disable-libjack --disable-indev=jack --enable-videotoolBox
  libavutil      56. 51.100 / 56. 51.100
  libavcodec     58. 91.100 / 58. 91.100
  libavformat    58. 45.100 / 58. 45.100
  libavdevice    58. 10.100 / 58. 10.100
  libavfilter     7. 85.100 /  7. 85.100
  libavresample   4.  0.  0 /  4.  0.  0
  libswscale      5.  7.100 /  5.  7.100
  libswresample   3.  7.100 /  3.  7.100
  libpostproc    55.  7.100 / 55.  7.100
Input #0,from 'out.webm':
  Metadata:
    ENCODER         : Lavf58.45.100
  Duration: 00:00:17.82,bitrate: 405 kb/s
    Stream #0:0(eng): Video: vp9 (Profile 0),1k tbc (default)
    Metadata:
      ALPHA_MODE      : 1
      ENCODER         : Lavc58.91.100 libvpx-vp9
      DURATION        : 00:00:17.815000000

解决方法

我相当确定您的 FFmpeg 处理并不完全符合您的想法——使用您的命令行，尤其是在没有某些显式开关的情况下，FFmpeg 将自行决定对您的视频和音频进行转码，这就是为什么您的输出文件要小得多——数据已被重新压缩，可能会降低质量。

如果您只想生成大多数玩家进行的那种搜索所需的索引，并避免不需要的转码，以下命令行就足够了：

ffmpeg -i <input-file> -codec copy <output-file>

请注意，如果没有额外的显式开关来指示它，FFmpeg 会从输出文件扩展名推断输出容器格式。我假设您的输入和输出都是 WebM，因此您的情况没有任何问题。但即使不是这样，将媒体重新混合到另一种格式的容器中也不一定会导致质量下降。

正如您从上面的命令行推测的那样，仅运行 FFmpeg 而没有任何与“生成帧时间索引”有关的显式开关，无论如何都会导致它构建索引。无论是否进行转码，它都会这样做。

附言有一些玩家，比如[现在被放弃的]MPC-HC，它们至少能够寻找一些传输流。我知道它可以寻找您的 WebM 媒体。我不知道它实际上如何进行搜索的确切细节，但是如果我猜想我会说它只是从媒体中的某个适当位置（或一开始）对与时间匹配的帧进行线性搜索寻求。很像在数据库表中查找没有索引来帮助搜索谓词的行。

electron electron ffmpeg ffmpeg ffmpeg webm webm