DeOldify 示例NoGAN安装 介绍
DeOldify 是用于着色和恢复旧图像及视频的深度学习项目。
它采用了 NoGAN 这样一种新型的、高效的图像到图像的 GAN 训练方法。细节处理效果更好，渲染也更逼真。
示例
△“移民母亲” by Dorothea Lange（1936）
△”Toffs and Toughs” by Jimmy Sime (1937)
△中国鸦片吸烟者（1880）
NoGAN
NoGAN 是作者开发的一种新型 GAN 训练模型，用于解决之前 DeOldify 模型中的一些关键问题。
NoGAN 在 DeOldify 中对于保证视频着色的稳定性来说至关重要。NoGAN 训练结合了 GAN
训练的优点（好看的色彩），同时消除了令人讨厌的副作用（如视频中的闪烁物体）。视频由孤立的图像生成，而不添加任何时间建模。该过程执行 30-60 分钟
“NoGAN” 训练的 GAN 部分，每次使用 1% 至 3%
的图像网络（imagenet）数据。然后，与静止图像着色一样，在重建视频之前对各个帧进行“去旧化”（DeOldify）。
除了提高视频稳定性之外，还有一件趣事值得一提。事实证明，即使是不同的模型和不同的训练结构，仍然可以或多或少获得相同的解决方案。即使有些事物的颜色被认为是任意或不可知的，例如服装、汽车甚至特殊效果的颜色（如《大都会》中所见）。
△Metropolis 电影《大都会》（1927）
作者猜测，模型正在学习一些有趣规则，寻找黑白图像中存在的微妙线索，并以此来着色。这不是没有道理的，因为该模型具有更高保真度的图像信息，并且将更有可能一致地做出“正确”的决定。这导致了确定和一致的结果，意味着你没有跟踪模型着色决策，因为它们不是任意的。此外，它们看起来非常健壮，即使在移动场景中的渲染也非常一致。
其他保持视频稳定性的方法还包括：以更高分辨率（更高的 render_factor）渲染；使用 resnet101 而不是 resnet34
作为生成器的主干——对象的检测更加一致和正确。此外，在训练期间高斯噪声增强似乎也有所帮助。
目前，DeOldify 有三种型号可供选择，每一种都有关键优势和劣势，因此具有不同的用例。
三种型号分别为： Artistic（艺术型）、Stable（稳定型）、Video（视频专用）
安装
硬件和操作系统要求
- BEEFY 显卡（仅限训练）
- 一个普通显卡（单独着色）
- Linux（或 Windows 10）
使用 Anaconda 进行简单安装
打开命令行并导航到要安装的根文件夹，键入以下命令：
git clone https://github.com/jantic/DeOldify.git DeOldify cd DeOldify conda env create -f environment.yml
然后开始使用这些命令运行：
source activate deoldify jupyter lab
通过控制台中提供的 URL 开始在 Jupyter Lab 中运行