视频智能插帧：初探

视频智能插帧主要分为两大流派：基于核的方法和基于光流的方法，还有一些其他小众的方法，比如基于阶段的，或者直接合成的。还有一些有趣的工作是将视频插帧和超分、去糊等结合在一起。

这个领域里面一个比较古老的数据集，里面有很多AI的或者非AI的插帧方法的排行：

Middlebury测试基准榜单：https://vision.middlebury.edu/flow/eval/results/results-i1.php

业界应用

https://developer.nvidia.com/rtx/ngx，NVIDIA的这个NGX SDK里面实现了智能插帧算法Super Slow-Mo.
https://developer.nvidia.com/blog/whats-new-in-optical-flow-sdk-3-0/，猜测是非AI的光流法。
https://www.svp-team.cn.com/wiki/Main_Page ，有非AI插帧和AI插帧RIFE等
https://github.com/hzwer/arXiv2020-RIFE，旷视科技出品，目前有较多应用。
https://github.com/AaronFeng753/Waifu2x-Extension-GUI，集成了RIFE，CAIN，DAIN，每次只能插两倍，自定义倍数要交钱-_-||

视频插帧领域重要论文

总结了2017~2021年间的视频插帧领域的重要论文。包括年份，发表地方，作者，引用数，开源代码Star数，以及主要思路和论文截图。

2021

Revisiting adaptive convolutions for video frame interpolation，2021，WACV，Niklaus，Adobe。【Kernel-Based】使用老方法adaptive separable convolution，通过一组底层优化技术，达到了很好的结果。这些技术对其他任务也有潜力。Code, [SepConv++] [Rank 2，现在已经掉到第5]; Adaptive Convolution这一技术应用广泛。整体提升1.76dB。性能吊打其他基于光流的方法，除了SoftSplat。
主要用到了这些技术：delayed padding (+0.37 dB) ，input normalization (+0.30 dB) ，network improvements (+0.42 dB) ，kernel normalization (+0.52 dB) ，contextual training (+0.18 dB) 。
https://github.com/sniklaus/revisiting-sepconv 【20 star】
Deep Animation Video Interpolation in the Wild，2021，CVPR，L Siyao。针对动画片的源效果好。https://github.com/lisiyao21/AnimeInterp/ 【200 star】
Flavr: Flow-agnostic video representations for fast frame interpolation，2021，CVPR，T Kalluri。3D space-time convolution。端到端学习，解决非线性运动的难题。不需要光流和深度图，推理速度快3倍，有潜力扩展到超分和去糊。 https://github.com/tarun005/FLAVR 【192 star】【演示】。
CDFI: Compression-Driven Network Design for Frame Interpolation，2021，CVPR，T Ding。【DNN-based】基于AdaCoF，对模型进行了压缩和优化。https://github.com/tding1/CDFI 【69 star】

请添加图片描述

Multi-Level Adaptive Separable Convolution for Large-Motion Video Frame Interpolation， 2021，针对大运动场景。
Time Lens: Event-Based Video Frame Interpolation，2021，CVPR，S Tulyakov，2。https://github.com/uzh-rpg/rpg_timelens【424】演示：http://rpg.ifi.uzh.ch/TimeLens.html

2020

Softmax splatting for video frame interpolation，2020， CVPR，Niklaus，58。【光流法】没代码。MiddleBury数据集排名第二。
Zooming slow-mo: Fast and accurate one-stage space-time video super-resolution，2020，CVPR，X Xiang，42。【插帧+超分】比 DAIN+EDVR，DAIN+RBPN效果更好，速度快三倍。https://github.com/Mukosame/Zooming-Slow-Mo-CVPR-2020【706 star】
Adacof: Adaptive collaboration of flows for video frame interpolation，2020， CVPR，H Lee，35。https://github.com/HyeongminLEE/AdaCoF-pytorch 【131 star】克服自由度的局限，泛化的 warping module。
CAIN Channel attention is all you need for video frame interpolation，2020，AAAI，M Choi，34。https://github.com/myungsub/CAIN【201】AIM 2019 Video Temporal Super-Resolution Rank 2。不计算光流。PixelShuffle技术。
Bmbc: Bilateral motion estimation with bilateral cost volume for video interpolation，2020， J Park，21. 基于双向运动估计，网络复杂。https://github.com/JunHeum/BMBC【65】
FISR: deep joint frame interpolation and super-resolution with a multi-scale temporal loss，2020，SY Kim，18.【插帧+超分】
Enhanced quadratic video interpolation，2020，Y Liu，ECCV，6。https://github.com/lyh-18/EQVI 【95】。QVI的增强版。解决QVI在大运动，复杂运动下的缺陷。AIM2020 VTSR冠军。residual contextural synthesis network。
RIFE: Real-Time Intermediate Flow Estimation for Video Frame Interpolation, 2020, arxiv, Z Huang, 9。https://github.com/hzwer/arXiv2020-RIFE 【2.1k】Megvii 旷视科技。光流法，实时，推理速度快。

2019

DAIN Depth-aware video frame interpolation，2019，CVPR, W Bao, 180。解决大运动或遮挡。利用深度信息监测遮挡。输入帧，深度图，基于光流的上下文特征，局部插值核。https://github.com/baowenbo/DAIN【7k star】目前star数最多。optical flow estimation + single image depth estimation + context-aware image synthesis + adaptive convolutions.
Quadratic video interpolation，2019，X Xu，43。使用二次插值而不是传统的线性插值，解决曲线运动。结果较好，https://github.com/xuxy09/QVI【10】