精细到发丝级别的抠图算法,工程师的浪漫YYDS!
你以为这些人像发丝的勾勒是PS做的吗?
文章图片
不!这是AI算法的效果!
文章图片
这是什么AI技术能把发丝精细的识别,甚至还能有透明度渐变?经过小编的一番调研,这项技术叫做Matting,是指通过计算前景的颜色和透明度,将前景从影像中撷取出来,并生成一张Alpha图的技术。
文章图片
【精细到发丝级别的抠图算法,工程师的浪漫YYDS!】该数据引用公开数据集[1]
近期PaddleSeg团队复现了经典Matting算法MODNet,并进行了一定改进,提供了更丰富的backbone模型选择,适用边缘端、服务端等多种任务场景。
文章图片
在这里小编赶紧给大家贴上项目链接地址。欢迎小伙伴们star收藏:https://github.com/PaddlePadd...
同时PaddleSeg团队提供了可部署在手机端的APP应用,欢迎大家扫码体验Matting的人像抠图效果。
APP下载链接:
https://paddleseg.bj.bcebos.c...
Matting精细化抠图被广泛应用在多种行业,如视频剪辑,视频合成等领域。
文章图片
看到这么好的技术,有的小伙伴们会比较关注技术上是怎么实现的,那么我们就一起来看看Matting的技术演化过程。
Matting算法基本结构
基于深度学习的Matting分为两大类:
1.一种是基于辅助信息输入。即除了原图和标注图像外,还需要输入其他的信息辅助预测。最常见的辅助信息是Trimap,即将图片划分为前景,背景及过度区域三部分。另外也有以背景或交互点作为辅助信息。
- 一种是不依赖任何辅助信息,直接实现Alpha预测。
文章图片
DIM -Matting DIM(Deep Image Matting)第一次阐述了在给定图像和辅助信息Trimap的情况下,可以通过端到端的方式学习到Alpha。其网络分为两个阶段,第一阶段是深度卷积编码-解码网络, 第二阶段是一个小型卷积神经网络,用来减少编码-解码网络引起的细节损失,提升Alpha预测的准确性和边缘效果。在DIM之后诞生了大量的基于Trimap的Matting网络。
文章图片
图片来源:Xu, Ning, et al. "Deep image matting." Proceedings of the IEEE conference on computer vision and pattern recognition. 2017.
BGMV2: 以背景作为辅助信息 BGMv2(Background Matting v2) 改变思路,利用背景图像取代Trimap来辅助网络进行预测,有效避免了Trimap获取费时费力的问题,并将网络分为Base网络和Refiner两部分。在计算量大的Base网络阶段对低分辨率进行初步预测,在Refiner阶段利用Error Map对高分辨率图像相应的切片进行Refine。通过此实现了高分辨率图像的实时预测。
文章图片
图片来源:Lin, Shanchuan, et al. "Real-time high-resolution background matting." Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2021.
MODNet 辅助信息的获取极大限制了Matting的应用,为了提升Matting的应用性,针对Portrait Matting领域MODNet摒弃了辅助信息,直接实现Alpha预测,实现了实时Matting,极大提升了基于深度学习Matting的应用价值。MODNet将Matting分解成三个子目标进行优化,通过任务分解提升Alpha预测的准确率。
文章图片
图片来源:Ke Z, Li K, Zhou Y, et al. Is a Green Screen Really Necessary for Real-Time Portrait Matting?[J]. arXiv preprint arXiv:2011.11961, 2020.
当前PaddleSeg提供的Matting算法便是对MODNet算法的复现,并在原著基础上提供了多个不同主干网络的预训练模型如RestNet50_vd、HRNet_w18 来满足用户在边缘端、服务端等不同场景部署的需求。
图片数据引用说明:
[1]Christoph Rhemann, Carsten Rother, Jue Wang, Margrit Gelautz, Pushmeet Kohli, Pamela Rott. A Perceptually Motivated Online Benchmark for Image Matting.
点击进入获得更多技术信息~~
推荐阅读
- 2018-02-06第三天|2018-02-06第三天 不能再了,反思到位就差改变
- 一个小故事,我的思考。
- 第三节|第三节 快乐和幸福(12)
- 你到家了吗
- 遇到一哭二闹三打滚的孩子,怎么办┃山伯教育
- 死结。
- 赢在人生六项精进二阶Day3复盘
- 子龙老师语录
- 异地恋中,逐渐适应一个人到底意味着什么()
- 即将到手三百万