libav sws_scale在真实设备上无法进行色彩空间转换，可在模拟器上运行

问题描述

我正在用libav制作电影播放器​​。我正在解码视频数据包，我在反向工作，在寻求工作。所有这些都无法在x86 android模拟器上运行，但无法在真正的android手机（arm64-v8a）上运行

失败在sws_scale()中-返回0。视频帧继续正确解码，没有错误。

libav没有错误，警告和警报。我已经连接了avlog_callback

void log_callback(void *ptr,int level,const char *fmt,va_list vargs) {
    if (level<= AV_LOG_WARNING)
        __android_log_print( level,LOG_TAG,fmt,vargs);
}
uint64_t openMovie( char* path,int rotate,float javaDuration )
{
    av_log_set_level(AV_LOG_WARNING);
    av_log_set_callback(log_callback);

执行sws_scale()的代码是：

int JVM_getBitmapBuffer( jnienv* env,jobject thiz,jlong av,jobject bufferAsInt,jbyte transparent ) { 
    avblock *block = (avblock *) av;
    if (!block) {
        __android_log_print(ANDROID_LOG_ERROR,"  avblock is null");
        return AVERROR(EINVAL);
    }
    if (!block->pCodecCtx) {
        __android_log_print(ANDROID_LOG_ERROR,"  codecctx is null");
        return AVERROR(EINVAL);
    }

    int width = block->pCodecCtx->width;
    int height = block->pCodecCtx->height;

    if (NULL == block->sws) {
        __android_log_print( ANDROID_LOG_ERROR,"getBitmapBuffer:\n  *** invalid sws context ***" );
    }

    int scaleRet = sws_scale( block->sws,block->pFrame->data,block->pFrame->linesize,height,block->pFrameRGB->data,block->pFrameRGB->linesize
    );
    if (scaleRet == 0 ) {
        __android_log_print(ANDROID_LOG_ERROR,"  scale Failed");
        __android_log_print(ANDROID_LOG_ERROR,"  pframe linesize    %d",block->pFrame->linesize[0]); 
        __android_log_print(ANDROID_LOG_ERROR,"  pframergb linesize %d",block->pFrameRGB->linesize[0]); 
        __android_log_print(ANDROID_LOG_ERROR,"  height  %d",height);
        return AVERROR(EINVAL);
    }

设置抄本和avframe：

//i have tried every combination of 1,8,16,and 32 for these values
int alignRGB = 32;
int align    = 16; 
int width    = block->pCodecCtx->width;
int height   = block->pCodecCtx->height;
block->pFrame    = av_frame_alloc();
block->pFrameRGB = av_frame_alloc();

block->pFrameRGBBuffer = av_malloc(
    (size_t)av_image_get_buffer_size(AV_PIX_FMT_RGB32,width,alignRGB) 
);

av_image_fill_arrays(
    block->pFrameRGB->data,block->pFrameRGB->linesize,block->pFrameRGBBuffer,AV_PIX_FMT_RGB32,alignRGB
);

block->pFrameBuffer = av_malloc(
        (size_t) av_image_get_buffer_size(block->pCodecCtx->pix_fmt,align
        )
);
av_image_fill_arrays(
    block->pFrame->data,block->pFrameBuffer,block->pCodecCtx->pix_fmt,align
);
block->sws = sws_getContext(
    width,AV_PIX_FMT_YUV420P,SWS_BILINEAR,NULL,0
);

通配符是：

• 我正在使用React-Native
• 我的模拟器是x86 android API 28
• 我的真实设备是arm64-v8a AOSP（大约在api 28上，记不清了（

其他说明：

• libav .so文件是从mobile-ffmpeg项目编译的。
• 我也可以使用swp_scale在x86_64 linux上使用SDL投影YV12
• 测试视频在这里：https://github.com/markkimsal/video-thumbnailer/tree/master/fixtures
• block是一个简单的C结构，带有指向相关AV存储器结构的指针。
• 使用FFMPEG 4.3.2

我可以确定它与像素对齐有关。但是实际上没有关于该主题的文档。像素格式RGBA和RGB32之间的差异，也可能是小端与大端之间的差异。

解决方法

这是FFMPEG在ARM体系结构上的已知错误。

mythtv发布了一种解决方法，该方法涉及从目标宽度减去1以绕过无效的优化代码。

https://code.mythtv.org/trac/ticket/12888

https://code.mythtv.org/trac/changeset/7de03a90c1b144fc0067261af1c9cfdd8d358972/mythtv

针对FFMPEG 3.2.1报告 http://trac.ffmpeg.org/ticket/6192

在FFMPEG 4.3.2中仍然存在

    int new_width = width;
#if ARCH_ARM
    // The ARM build of FFMPEG has a bug that if sws_scale is
    // called with source and dest sizes the same,and
    // formats as shown below,it causes a bus error and the
    // application core dumps. To avoid this I make a -1
    // difference in the new width,causing it to bypass
    // the code optimization which is failing.
    if (pix_fmt == AV_PIX_FMT_YUV420P
      && dst_pix_fmt == AV_PIX_FMT_BGRA)
        new_width = width - 1;
#endif
    d->swsctx = sws_getCachedContext(d->swsctx,width,height,pix_fmt,new_width,dst_pix_fmt,SWS_FAST_BILINEAR,NULL,NULL);

更新：

使用--debug选项构建mobile-ffmpeg 4.3.2会生成有效的二进制文件。

更新2：

-debug标志似乎不再起作用。一定是一些不干净的版本。这似乎与alpha通道有关。

Android.Bitmap.Config和ffmpeg都支持的唯一非alpha RGB格式是RGB_565。使用565可以使用偶数编号的目标宽度。

在libswscale/yuv2rgb.c中：

SwsFunc ff_yuv2rgb_get_ptr(SwsContext *c) {
   ...
   switch(c->dstFormat) {
   case AV_PIX_FMT_RGBA:
       return (CONFIG_SWSCALE_ALPHA & isALPHA(c->srcFormat)) ? yuva2rgb_c: yuv2rgb_c_32;
   ....
   case AV_PIX_FMT_RGB565:
       return yuv2rgb_c_16_ordered_dither;
   ...

我的来源是YUV420P，并且不支持alpha通道（例如yuv A 420p）。当我的目标格式为RGB565时，此方法似乎没有任何问题。

可惜我无法为Android生产任何Alpha通道。我想真正的答案是仅使用OpenGL并使用直接支持blitting YUV的表面。

更新3

我在libswscale/swscale_unscaled.c和libswscale/yuv2rgb.c中找到了代码路径

如果缩放输出，则可以转换为RGBA dest格式。

如果将标志SWS_ACCURATE_RND添加到SwsContext中，那么还可以避免错误的代码路径。