“模型逐帧生成视频”是什么意思?

问题描述

我正在阅读 paper,在描述模型的段落中,

该模型通过在音频序列上滑动 0.35 秒的窗口,逐帧生成视频。帧每次向前移动 1 帧(0.04 秒)。

该模型在给定两个输入的情况下生成说话人脸的视频:(1) 音频片段,(2) 目标身份的静止图像(正面头像)。

引用的部分令人困惑。

例如,如果输入是 1.4 秒长的音频,模型会生成 4 帧的视频,对吗?
但该帧每次向前移动 1 帧,因此长度为 0.16 秒。

那么这意味着 1.4 秒长的音频变成了 0.16 秒长的视频。

我在哪里迷路了?

解决方法

我认为可能令人困惑的是视频的帧速率不一定完全划分为视频时间。

例如,如果您有每秒 2 帧的帧速率和 10 秒长的视频,那么很明显它会在第 20 帧或最后一帧恰好在 10 秒处停止。

如果您的视频时长仅为 9.45 秒,则视频会在最后一帧处停止 - 在本例中为 9.30 秒。