CVPR|CVPR 之老照片修复 CVPR之老照片修复

周末闲来无事，随手整理电脑里的照片，望着一张物是人非的老相片，勾起了斑驳的回忆。忽尔转念一想，何不 PS 下，但 PhotoShop 有些大且不免费自己懒得装，于是，转向免费的图像复原软件。
网上搜来找去，却一直没寻到合适的，最后查到 CVPR 2020 的一篇 Oral 论文，看到有的博客已经详细介绍过了，恰好作者也开放了源码，于是，一时兴起，拍脑门决定，就拿这个来复原老相片吧。
结果，忙活了半个晚上 (主要是用手机热点，时间浪费在了下载速度上) 加一个上午 (踩了很多第三方库安装、python 向低版本重装的坑)，终于成功复原图像，遂写下此博文，以免后来者重复踩坑 ... ...

1CVPR 会议 CVPR 全称 IEEE Conference on Computer Vsion and Pattern Recongniton，是计算机视觉的三大顶会之一 (另两个是 ICCV 和 ECCV)，由 IEEE 每年举办一次
2021年，按照 Google Scholar Metrics 排名，CVPR 已经挤掉了《柳叶刀》，成为全球影响力排名第四的顶级期刊会议，排在前面的有《Nature》和《Science》
【CVPR|CVPR 之老照片修复】
文章图片

2Oral 论文 2020年的 CVPR 会议中，有效投稿 6656 篇论文，1470 篇被录用，接收率约 22%，其中 335 篇选中 Oral，比率约 5%
这篇《Bringing Old Photos Back to Life》属于 Oral 论文，含金量可见一斑，论文链接：https://arxiv.org/pdf/2004.09484.pdf
论文里面的内容不再赘述，请读者自行阅读，摘录论文实现的效果图，如下：

文章图片

实现源码作者已经开放，GitHub 链接：https://github.com/microsoft/Bringing-Old-Photos-Back-to-Life

3实践步骤 3.1测试环境 Win 64 中使用 PoweShell 终端，已安装 Python 3.9.9，安装过程中勾选下图 pip 选项：

文章图片

可在 PowerShell 中输入 py --version，查看安装的 Python 版本
3.2源码和模型 3.2.1源码
如有 git 可用 git clone 命令，如下

git clone https://github.com/microsoft/Bringing-Old-Photos-Back-to-Life.git　

也可直接下载链接中的 Source code：https://github.com/microsoft/Bringing-Old-Photos-Back-to-Life/releases

文章图片

如果下载速度较慢的话，可先点击下载，然后复制链接到迅雷下载，能显著提高下载速度
3.2.2模型
1)下载 face_landmark 预训练模型，解压后放在 Face_Detection 目录下

cd Face_Detection/ wget http://dlib.net/files/shape_predictor_68_face_landmarks.dat.bz2 bzip2 -d shape_predictor_68_face_landmarks.dat.bz2 cd ../

2)下载 face_checkpoints 模型，解压后置于 Face_Enhancement 目录下

cd Face_Enhancement/ wget https://github.com/microsoft/Bringing-Old-Photos-Back-to-Life/releases/download/v1.0/face_checkpoints.zip unzip face_checkpoints.zip cd ../

3)下载 global_checkpoints 模型，解压后置于 Global 目录下

cd Global/ wget https://github.com/microsoft/Bringing-Old-Photos-Back-to-Life/releases/download/v1.0/global_checkpoints.zip unzip global_checkpoints.zip cd ../

2) 和 3) 也可以通过 3.2.1 中的链接下载，解压后分别置于对应目录中
3.2.3sync_batchnorm
下载 Synchronized-BatchNorm-PyTorch，将子文件夹 sync_batchnorm，拷贝到 Face_Enhancement/models/networks/ 目录下

cd Face_Enhancement/models/networks/ git clone https://github.com/vacancy/Synchronized-BatchNorm-PyTorch cp -rf Synchronized-BatchNorm-PyTorch/sync_batchnorm . cd ../../../

相同的 sync_batchnorm 文件夹，再拷贝到 Global/detection_models/ 目录下

cd Global/detection_models git clone https://github.com/vacancy/Synchronized-BatchNorm-PyTorch# no need doing git clone once again cp -rf Synchronized-BatchNorm-PyTorch/sync_batchnorm . cd ../../　

3.3依赖库 3.3.1第三方库
可直接使用 pip 和 requirements.txt，一键下载全部依赖库

pip install -r requirements.txt

　requirements.txt 中的所有依赖库如下：其中，torch, torchvision 和 dlib 稍稍复杂，可放在后面单独安装

torch torchvision dlib scikit-image easydict PyYAML dominate>=2.3.1 dill tensorboardX scipy opencv-python einops PySimpleGUI

3.3.2Torch 和 Torchvision
Torch, Torchvision 和 Python，三者版本是有一定的对应关系，需要单独安装，关系图参考：https://github.com/pytorch/vision

文章图片

第一种方法，用 pip install torch==1.8.1 和 pip install torchvision==0.9.2 进行安装，但在 PowerShell 中，有时会因网络不稳定导致安装不成功
第二种方法，提前下载好对应的 .whl 版本，下载链接：https://download.pytorch.org/whl/torch_stable.html，然后，分别执行如下命令