问题描述
我需要在场景中播放带有 alpha 通道的 .mov 视频 (ProRes4444)。该场景有一个背景图像，我需要使用视频的 alpha 通道，以便它覆盖在背景上。
如果我用QMediaPlayer正常打开视频，alpha通道显示为黑色。
带有黑色 alpha 的背景图片和视频的屏幕：
如何使 QMediaPlayer (QGraphicsVideoItem) 的输出尊重 alpha 并使叠加效果成为可能？
我最接近基于在线研究的答案是 cpp 中的代码，我发现它显示了创建 QAbstractVideoSurface 的子类的必要性，该子类接收视频帧转换为 ARGB，然后将它们转发到显示它们的 QLabel .
Displaying a video with an alpha channel using qt
我也尝试过，但没有成功。这是正确的课程还是我在当前代码中遗漏了一些简单的东西？
编辑： 链接到文件（背景图像和视频 .mov） https://drive.google.com/drive/folders/1LIZzTg1E8wkaD0YSvkkcfSATdlDTggyh?usp=sharing
import sys
from PyQt5.QtMultimedia import *
from PyQt5.QtMultimediawidgets import *
from PyQt5.QtWidgets import *
from PyQt5.QtCore import *
from PyQt5.QtGui import *
class VideoWindow(QMainWindow):
def __init__(self):
super(VideoWindow,self).__init__()
self.setwindowTitle('QMediaPlayer TEST')
self.resize(1920,1080)
self.vista = QGraphicsView(self)
self.vista.setGeometry(QRect(0,1920,1080))
self.scene = QGraphicsScene(self.vista)
self.scene.setSceneRect(0,1080)
self.vista.setScene(self.scene)
self.graphvitem1 = QGraphicsVideoItem()
#SET BACKGROUND IMAGE ON SCENE
self.tempImg = Qpixmap("/Users/elemental/Desktop/pyvids/fons.jpeg")
self.tempImg = self.tempImg.scaled(self.scene.width(),self.scene.height())
self.graphicspixmapItem = QGraphicspixmapItem(self.tempImg)
self.scene.addItem(self.graphicspixmapItem)
#SET VIDEO 1 WITH LOOP
self.mediaPlayer1 = QMediaPlayer(None,QMediaPlayer.VideoSurface)
self.mediaPlayer1.setVideoOutput(self.graphvitem1)
self.playlist1 = QMediaPlaylist(self)
self.playlist1.addMedia(QMediaContent(QUrl.fromLocalFile("/Users/elemental/Desktop/pyvids/vida1.mov")))
self.playlist1.setCurrentIndex(1)
self.playlist1.setPlaybackMode(QMediaPlaylist.CurrentItemInLoop)
self.mediaPlayer1.setPlaylist(self.playlist1)
self.graphvitem1.setPos(500,100)
self.graphvitem1.setSize(QSizef(1000,500))
self.scene.addItem(self.graphvitem1)
self.mediaPlayer1.play()
self.vista.show()
if __name__ == '__main__':
app = QApplication([])
window = VideoWindow()
window.show()
sys.exit(app.exec_())
解决方法
据我所知，QVideoWidget 默认不支持 alpha 通道，因此它退回到“基本”黑色背景。
但是，通过正确地继承 QAbstractVideoSurface，实现似乎是可能的。
考虑到以下代码是实验性的，我对 QMediaPlayer 和 Qt 视频表面的了解并不那么深（前者是多个平台和多个库的抽象，在不同的配置上可能表现得非常不同），我可以只在两个 Linux 平台上测试过，所以我不知道它在 Windows 和 MacOS 下的表现如何。
假设视频表面提供默认的专用 QWidget 子类 (VideoWidget)，除非提供了具有合适 setImage 的另一个类，并在媒体播放器需要时更新其 image。>
请注意，我仅使用几个视频（包括提供的视频）对其进行了测试，可能需要进一步测试。
from PyQt5.QtMultimedia import *
from PyQt5.QtMultimediaWidgets import *
from PyQt5.QtWidgets import *
from PyQt5.QtCore import *
from PyQt5.QtGui import *
class VideoWidget(QWidget):
image = QImage()
def __init__(self,**kwargs):
super().__init__(**kwargs)
def setImage(self,image):
self.image = image
self.update()
def sizeHint(self):
return QSize(640,480)
def paintEvent(self,event):
qp = QPainter(self)
# ensure that smooth transformation is used while scaling pixmaps
qp.setRenderHints(qp.SmoothPixmapTransform)
# provide compliancy with background set using stylesheets,see:
# https://doc.qt.io/qt-5/stylesheet-reference.html#qwidget-widget
opt = QStyleOption()
opt.initFrom(self)
self.style().drawPrimitive(QStyle.PE_Widget,opt,qp,self)
# draw the image,scaled to the widget size; if you need fixed sizes
# or keep aspect ratio,implement this (or the widget) accordingly
qp.drawImage(self.rect(),self.image,self.image.rect())
class AlphaVideoDrawer(QAbstractVideoSurface):
def __init__(self,videoWidget=None,widgetOptions=None):
super().__init__()
if videoWidget:
if not hasattr(videoWidget,'setImage'):
raise NotImplementedError(
'setImage() must be implemented for videoWidget!')
else:
if not isinstance(widgetOptions,dict):
widgetOptions = {}
elif not 'styleSheet' in widgetOptions:
# just a default background for testing purposes
widgetOptions = {'styleSheet': 'background: darkGray;'}
videoWidget = VideoWidget(**widgetOptions)
self.videoWidget = videoWidget
# QVideoFrame.image() has been introduced since Qt 5.15
version,majVersion,minVersion = map(int,QT_VERSION_STR.split('.'))
if version < 6 and majVersion < 15:
self.imageFromFrame = self._imageFromFrameFix
else:
self.imageFromFrame = lambda frame: frame.image()
def _imageFromFrameFix(self,frame):
clone_frame = QVideoFrame(frame)
clone_frame.map(QAbstractVideoBuffer.ReadOnly)
image = QImage(
clone_frame.bits(),frame.width(),frame.height(),frame.bytesPerLine(),QVideoFrame.imageFormatFromPixelFormat(frame.pixelFormat()))
clone_frame.unmap()
return image
def supportedPixelFormats(self,type):
return [QVideoFrame.Format_ARGB32]
def present(self,frame: QVideoFrame):
if frame.isValid():
self.videoWidget.setImage(self.imageFromFrame(frame))
if self.surfaceFormat().pixelFormat() != frame.pixelFormat() or \
self.surfaceFormat().frameSize() != frame.size():
self.setError(QAbstractVideoSurface.IncorrectFormatError)
self.stop()
return False
else:
return True
class AlphaVideoTest(QMainWindow):
def __init__(self):
super().__init__()
self.setStyleSheet('''
QFrame#mainFrame {
background: green;
}
''')
mainFrame = QFrame(objectName='mainFrame')
self.setCentralWidget(mainFrame)
layout = QVBoxLayout(mainFrame)
self.playButton = QPushButton('Play',checkable=True)
layout.addWidget(self.playButton)
self.drawer = AlphaVideoDrawer()
layout.addWidget(self.drawer.videoWidget)
self.mediaPlayer1 = QMediaPlayer(self,QMediaPlayer.VideoSurface)
self.playlist = QMediaPlaylist(self)
path = QDir.current().absoluteFilePath('vida1.mov')
self.playlist.addMedia(QMediaContent(QUrl.fromLocalFile(path)))
self.playlist.setCurrentIndex(1)
self.playlist.setPlaybackMode(QMediaPlaylist.CurrentItemInLoop)
self.mediaPlayer1.setPlaylist(self.playlist)
self.mediaPlayer1.setVideoOutput(self.drawer)
self.playButton.toggled.connect(self.togglePlay)
def togglePlay(self,play):
if play:
self.mediaPlayer1.play()
self.playButton.setText('Pause')
else:
self.mediaPlayer1.pause()
self.playButton.setText('Play')
import sys
app = QApplication(sys.argv)
test = AlphaVideoTest()
test.show()
sys.exit(app.exec_())
我基于以下来源编写了上述代码：
- wrong video frame of present() of qabstractvideosurface in pyqt5
- Displaying a video with an alpha channel using qt
请注意，我限制了 supportedPixelFormats 输出，因为使用相关问题中提供的完整格式列表不起作用；这并不意味着无论如何这都行得通，但可能需要进一步测试，可能需要在不同的机器和不同的操作系统/系统配置和视频格式上：请记住，QMediaPlayer 完全依赖于底层操作系统和默认媒体后端。
最后，如果您只需要“有限”和预定义的动画，请考虑实现您自己的 QWidget 子类，该子类使用加载的 PNG 图像列表并通过实现 paintEvent() 来显示它们，该 <style> 将由基于更新调用在 QVariantAnimation 上。虽然这种实现可能会导致性能下降或不理想，但它的主要好处是提供跨平台兼容性。