锐客网

  1. 首页 > it技术 > >

算法|腾讯图像超分辨率算法RealSR,开源了

机器学习算法人工智能深度学习计算机视觉

近日，腾讯优图实验室提出一种新的图像超分辨率算法RealSR并开源。该算法在CVPR-NTIRE-2020真实图像超分比赛中以明显优势获得双赛道冠军。


赛事介绍
在2020年的NTIRE真实图像超分比赛中，腾讯优图团队参加Image Processing artifacts及Smartphone Images两个Track均以明显优势获得第一名。NTIRE比赛是图像增强领域的权威赛事(https://data.vision.ee.ethz.ch/cvl/ntire20/)，由ETH Zurich（苏黎世联邦理工学院）的Computer VisionLaboratory组织，和CVPR共同举办。其中真实图像超分比赛专注于无监督超分技术（更贴合真实场景需求），吸引了包括INRIA, 北京大学等国内外知名研究机构及高校, 以及Samsung, Huawei等关注移动设备超分的国内外公司参与。

算法|腾讯图像超分辨率算法RealSR,开源了
文章图片

【算法|腾讯图像超分辨率算法RealSR,开源了】算法|腾讯图像超分辨率算法RealSR,开源了
文章图片

比赛获奖证书

超分辨率是什么
超分辨率是指将低质量压缩图片恢复成高分辨率图片的过程。随着移动互联网的快速发展，智能设备逐渐普及到生活的每个角落。随之而来的是大量真实的图像数据，由于存储和传输的需要，这些图片的质量会被压缩，为了使用户获得更加高质量的视觉体验，图像恢复/超分辨率算法应运而生。超分辨率作为一项底层视觉任务，其重要性毋容置疑，最直观的效果就是人眼感官质量的提升。如下图所示，左边是一张LR图片，右边分别是三种不同方法的对比（最右边是我们提出的RealSR方法结果），可以看到RealSR在模糊/噪声的去除表现上，明显优于当前最优开源方法EDSR/ZSSR，获得了更加清晰/无噪的高分辨率结果。
算法|腾讯图像超分辨率算法RealSR,开源了
文章图片

RealSR和已有方法对比

算法创新设计
与已有的超分辨率方法相比，RealSR的创新主要体现在三个方面：
1. RealSR采用了自主设计的新型图片退化方法，通过分析真实图片中的模糊和噪声，模拟真实图片的退化过程
2. 不需要成对的训练数据，利用无标记的数据即可进行训练。
3. 可以处理低分辨率图像中的模糊噪声问题，得到更加清晰干净的高分辨结果。
算法的主要步骤可以分为两个模块：退化模型的估计，超分模型的训练。方法框架如下图所示
算法|腾讯图像超分辨率算法RealSR,开源了
文章图片

RealSR算法框架

比赛官方结果
在官方汇报的比赛结果中，RealSR队伍（Impressionism）在合成数据和真实数据两个赛道上均获得了第一名。Track 1主办方评价说，RealSR生成的结果几乎没有噪声，甚至在视觉效果上超过了监督方法，是真实图像超分研究的一个里程碑式的创新。Track 2主办方评价，相比于其他参赛者方法，RealSR生成了更加清晰更加干净的结果，在MOR视觉得分上以较大优势领先。
算法|腾讯图像超分辨率算法RealSR,开源了
文章图片

Track 1 榜单结果
算法|腾讯图像超分辨率算法RealSR,开源了
文章图片

Track 2 榜单结果

业务落地
超分算法广泛应用于图片、视频修复技术中，以能够以较低的储存和传输成本获得更高清的视觉感受。另外超分算法也服务于人脸人像等深度合成技术，有助于生成细节更逼真的效果。老旧照片的修复同样也需要使用人像清晰化技术。
随着播放设备的能力逐渐提高，用户对于图像/视频质量的追求也在不断上升，提升图像视频的质量的需求越来越多。为了在不同场景中提升用户体验，算法需要考虑更加复杂的降质模型，准确地估计图像中的退化，从而改善生成结果，视觉感官更加真实。
算法|腾讯图像超分辨率算法RealSR,开源了
文章图片

Real-SR开源！
https://github.com/Tencent/Real-SR
（点击文末阅读原文直接访问）
请给项目 一个 Star !
欢迎提出你的 issue 和 PR！

国内镜像地址：
https://git.code.tencent.com/Tencent_Open_Source/Real-SR
（登录后才能访问公开项目）

算法|腾讯图像超分辨率算法RealSR,开源了
文章图片

腾讯工蜂源码系统为开源开发者提供完整、最新的腾讯开源项目国内镜像
算法|腾讯图像超分辨率算法RealSR,开源了
文章图片

    推荐阅读


    上一篇：笔记|Real-SR超分辨网络

    下一篇：PaddleGAN RealSR 超分辨率重建